Lecture7：随机梯度下降算法问题及解决、dropout正则化、学习率的选择、迁移学习

目录

1.随机梯度下降算法问题及解决

1.1 随机梯度下降算法SGD的问题

1.2 具有动量的梯度下降算法SGD+Momentum

1.3 Nesterov加速梯度法

1.4 AdaGrad

1.5 RMSProp

1.6 融合！Adam算法

2. 学习率的选取

3. 正则化

3.1 dropout正则化

4. 迁移学习

---

1.随机梯度下降算法问题及解决

1.1 随机梯度下降算法SGD的问题

1.2 具有动量的梯度下降算法SGD+Momentum

1.3 Nesterov加速梯度法

1.4 AdaGrad

1.5 RMSProp

1.6 融合！Adam算法

2. 学习率的选取

3. 正则化

3.1 dropout正则化

4. 迁移学习