唯见江心秋月白、

唯见江心秋月白、

神经网络中的三大概念是:反向传播,梯度下降,损失函数。

神经网络中的三大概念是:反向传播,梯度下降,损失函数。-LMLPHP

 

第一步:以简单比喻理解:反向传播,梯度下降,损失函数。


神经网络训练的思想:先 “猜” (初始化)得到一个结果(预测结果 a),观察它和训练集中含有的真实结果 y 之间的差距,然后调整策略,有依据地向正确的方向靠近。如此反复多次直到预测结果和真实结果接近时,就结束训练。

在神经网络训练中,“猜”叫做初始化,可以随机也可以根据以前的经验给定初始值。

目的:猜到乙确定的数字。

初始化:甲猜5。

前向计算:甲每次猜的新数字。

损失函数:乙在根据甲猜的数来和自己心中想的数做比较,得出“大了”或“小了”的结论。

反向传播:乙告诉甲“小了”、“大了”。

梯度下降:甲根据乙的反馈中的含义自行调整下一轮的猜测值。

第二步:总结反向传播与梯度下降的基本工作原理和步骤如下:


初始化

正向计算

损失函数:为我们提供了计算损失的方法

反向传播:把损失值反向传给神经网络的各层,让各层都可以根据损失值反向调整权重

梯度下降:在损失函数基础上向着损失最小的点靠近,从而指引了网络权重调整的方向

重复正向计算过程:直到精度满足要求(比如损失函数值小于 0.001)

11-14 10:42