文章目录 四、求解器 五、一些常用的损失函数 六、用 PyTorch 训练一个最简单的神经网络 后记 四、求解器 为了让训练过程更好的收敛，人们设计了很多更复杂的求解器 比如：SGD、L-BFGS、Rprop、RMSprop、Adam、AdamW、AdaGrad、AdaDelta 等等 但是，好在最常用的就是 Adam 或者 AdamW 五、一些常用的损失函数 两个数值的差距，Min Square Error： ℓ M S E = 1