我想用this article来构造神经网络,但在权值向量的更新算法上遇到了一些问题。特别是公式marked red
有谁能帮助我理解,什么是hm(i)和符号“”的意思?

最佳答案

这看起来像是神经网络训练误差梯度的back-propagation计算Bishop(第244页)列出了一个关键公式:

δj = h'(aj) SUM(k, wkj δk)

δ是隐藏节点或输出节点的预测值和标记值之间的错误右侧的δ项已经计算过,并且与所考虑的下一层输出相对应。
h'项是非线性activation function的导数,通常是sigmoid functiontanh在您的图像中列出的hm看起来像是tanh随变量变化而变化的导数。
垂直条是求值的语法:f(t) = f(x) | t我不太清楚你的形象是什么,我可能错了。

关于algorithm - 反向传播训练神经网络,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/11280873/

10-12 23:55