neural-network - 弹性反向传播神经网络-有关梯度的问题

首先，我想说的是我真的是神经网络的新手，我不太了解它；)

我已经做了反向传播神经网络的第一个C#实现。我已经使用XOR对其进行了测试，并且看起来可以正常工作。

现在，我想将实现更改为使用弹性反向传播(Rprop-http://en.wikipedia.org/wiki/Rprop)。

定义说:“Rprop仅考虑所有模式上的偏导数的符号(不考虑幅度)，并且对每个“权重”独立起作用。

有人可以告诉我所有模式的偏导数是什么吗？以及如何计算隐藏层中神经元的偏导数。

非常感谢

更新:

我的实现基于以下Java代码:www_.dia.fi.upm.es/~jamartin/downloads/bpnn.java

我的backPropagate方法如下所示:

public double backPropagate(double[] targets)
    {
        double error, change;

        // calculate error terms for output
        double[] output_deltas = new double[outputsNumber];

        for (int k = 0; k < outputsNumber; k++)
        {

            error = targets[k] - activationsOutputs[k];
            output_deltas[k] = Dsigmoid(activationsOutputs[k]) * error;
        }

        // calculate error terms for hidden
        double[] hidden_deltas = new double[hiddenNumber];

        for (int j = 0; j < hiddenNumber; j++)
        {
            error = 0.0;

            for (int k = 0; k < outputsNumber; k++)
            {
                error = error + output_deltas[k] * weightsOutputs[j, k];
            }

            hidden_deltas[j] = Dsigmoid(activationsHidden[j]) * error;
        }

        //update output weights
        for (int j = 0; j < hiddenNumber; j++)
        {
            for (int k = 0; k < outputsNumber; k++)
            {
                change = output_deltas[k] * activationsHidden[j];
                weightsOutputs[j, k] = weightsOutputs[j, k] + learningRate * change + momentumFactor * lastChangeWeightsForMomentumOutpus[j, k];
                lastChangeWeightsForMomentumOutpus[j, k] = change;

            }
        }

        // update input weights
        for (int i = 0; i < inputsNumber; i++)
        {
            for (int j = 0; j < hiddenNumber; j++)
            {
                change = hidden_deltas[j] * activationsInputs[i];
                weightsInputs[i, j] = weightsInputs[i, j] + learningRate * change + momentumFactor * lastChangeWeightsForMomentumInputs[i, j];
                lastChangeWeightsForMomentumInputs[i, j] = change;
            }
        }

        // calculate error
        error = 0.0;

        for (int k = 0; k < outputsNumber; k++)
        {
            error = error + 0.5 * (targets[k] - activationsOutputs[k]) * (targets[k] - activationsOutputs[k]);
        }

        return error;
    }

那么我可以使用change = hidden_deltas[j] * activationsInputs[i]变量作为梯度(偏导数)来检查唱歌吗？

最佳答案

我认为“所有模式”仅表示“每次迭代” ...看看RPROP paper

对于偏导数:您已经实现了常规的反向传播算法。这是一种有效计算梯度的方法...您可以在其中计算单个神经元的δ值，实际上是负∂E/∂w值，即全局误差随权重的偏导数。

因此，您不用取权重乘以这些值，而是取两个常数(η+或η-)之一，具体取决于符号是否已更改

关于neural-network - 弹性反向传播神经网络-有关梯度的问题，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/2865057/