课程地址和说明
损失函数p2
本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。
损失函数
损失函数是用来衡量预测值 y ^ \hat{y} y^或 y ′ y' y′与真实值 y y y的差别，下面给出常见的损失函数类型：
均方损失函数（L2 LOSS）
【注】蓝色的线是它的二次函数图像，绿色的线是它的似然函数 e − l e^{-l} e−l， 它的似然函数为高斯分布，橙色的线表示的是损失函数的梯度。当预测值 y ′ y' y′和真实值 y y y距离比较远的时候，则损失函数的梯度比较大，参数更新比较多，当预测值越来越靠近真实值，损失函数的梯度会变得越来越小。
当预测值和真实值离得较远的时候，不一定要用大梯度来更新参数，所以用下面的损失函数：
绝对值损失函数（L1 LOSS）
【注】蓝色的线是损失函数曲线，绿色是似然函数，橙色是梯度。