neural-network - 在神经网络中哪里添加辍学？

我已经在神经网络的不同部分中看到了有关辍学的描述:

权重矩阵中的

辍学
矩阵乘法之后和relu之前的隐藏层

脱落

关联后的隐藏层中的

辍学

和softmax函数

之前的输出得分中的辍学

我对应该在哪里进行辍学感到有些困惑。有人可以帮忙详细说明吗？谢谢!

最佳答案

所以:

您所描述的第一个用法称为权重下降。

您描述的第二种用法和第三种用法是相同的，通常被描述为激活中的退出。可能很容易注意到，当关闭整行(或列-取决于实现)时，它可能以权重下降的形式表示。

在第4种情况下，不能正确使用dropout-您要在其上使用dropout的层是输出层-因此，在此处使用dropout并不是最好的主意。

关于neural-network - 在神经网络中哪里添加辍学？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/40426737/