梯度提升树(GBDT)原理总结

什么是GBDT

GBDT是集成学习Boosting家族的成员。每一轮都依赖于前一轮迭代学习器的误差来更新权重。假设,前一轮得到的学习器是ft−1(x), 损失函数
是L(y,ft−1(x)), 我们本轮迭代的目标是找到一个CART回归树模型的弱学习器ht(x),让本轮的损失函数L(y,ft(x)=L(y,ft−1(x)+ht(x))最小。

GBDT的负梯度拟合

undefined