Qué es
A diferencia de Random Forest, que entrena muchos árboles en paralelo de forma independiente, Gradient Boosting los entrena de forma secuencial: cada nuevo árbol se enfoca específicamente en corregir los errores que cometieron los árboles anteriores, sumando pequeñas mejoras paso a paso.
Por qué es tan efectivo
Esta corrección progresiva del error suele producir modelos con una precisión muy alta, y es la técnica detrás de implementaciones muy populares como XGBoost, LightGBM y CatBoost, frecuentemente ganadoras en competencias de ciencia de datos con datos tabulares.
El costo de esa precisión
Requiere más cuidado al ajustar sus hiperparámetros que Random Forest, y es más propenso al overfitting si no se regula correctamente la cantidad de árboles y su complejidad individual.