梯度下降和增量法则之间有什么区别?

最佳答案

不使用数学运算:增量规则使用梯度下降来最小化感知器网络权重的误差。

梯度下降是一种通用算法,可逐渐更改参数向量以最小化目标函数。它通过沿阻力最小的方向(即具有最大(负)梯度的方向)移动来实现此目的。

您可以通过采用目标函数的导数找到此方向。这就像在光滑的丘陵景观中投下大理石一样。它仅保证局部最小值。因此,简单的答案是,增量规则是使用常规算法梯度下降的特定算法。

关于neural-network - 增量法则与梯度下降法?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/4895485/

10-12 23:51