当前位置:主页 > 365bet怎么样 >

你知道XGBoost背后的数学原理是什么吗?

作者:365bet客户端发布时间:2019-08-13 08:08浏览:

如上图所示,李磊和韩梅梅在a点,目标苹果树在点g。
山区的环境很复杂。我该怎么做以确保我在山谷的底部?
有两种方法。
1
点a的斜率由韩美美计算。如果斜率是正的,它将继续沿这个方向移动,如果它是负的,它将朝相反的方向移动。
倾斜表示前进的方向,但没有说明他们需要向这个方向移动多少。
为此,韩梅梅走了几步,计算了坡度,确认他没有到达错误的位置,最后决定失去大苹果树。
但是,这种方法很危险。控制水平是学习的速度。这是一个必须手动控制的值:如果学习速度太快,李磊和韩梅梅可能会跑到点g的两侧,而当它很暗时,你就无法得到一个苹果。
听力可能走向错误的方向,李磊不高兴,不想走路,也不打算浪费时间回家吃饭。
看到这位朋友如此可耻,韩梅梅提出了第二种方法。
2
基于第一种方法,每次通过一定数量的步骤时,韩梅梅计算每一步的损失函数的值,并找到局部最小值以避免失去全局最小值。
每次韩梅梅找到当地的最低限度时,他都会发出一个信号,所以李磊从来没有走错方向。
然而,这种方法对女孩来说是不公平的,可怜的韩梅梅需要找出他周围的所有点,并计算所有这些点的功能值。
XGBoost的优势在于您可以同时解决前两种解决方案的不足。
渐变改善
许多梯度增强实现使用方法1来计算目标函数最小值。
对于每次迭代,使用损失函数的梯度来训练基本学习者,然后将预测结果乘以常量,并通过将模型添加到前一次迭代的值来更新模型。