神经网络中的三大概念是:反向传播,梯度下降,损失函数。
第一步:以简单比喻理解:反向传播,梯度下降,损失函数。
神经网络训练的思想:先 “猜” (初始化)得到一个结果(预测结果 a),观察它和训练集中含有的真实结果 y 之间的差距,然后调整策略,有依据地向正确的方向靠近。如此反复多次直到预测结果和真实结果接近时,就结束训练。
在神经网络训练中,“猜”叫做初始化,可以随机也可以根据以前的经验给定初始值。
目的:猜到乙确定的数字。
初始化:甲猜5。
前向计算:甲每次猜的新数字。
损失函数:乙在根据甲猜的数来和自己心中想的数做比较,得出“大了”或“小了”的结论。
反向传播:乙告诉甲“小了”、“大了”。
梯度下降:甲根据乙的反馈中的含义自行调整下一轮的猜测值。