AI学习目录汇总

1、多层感知机网络结构

1.1 线性模型:softmax回归

在前面介绍过,使用softmax回归来处理分类问题时,每个输出通过都一个仿射函数计算,网络结构如下,输入和输出之间为全链接层:
【AI】《动手学-深度学习-PyTorch版》笔记(十四):多层感知机-LMLPHP

1.2 多层感知机

多层感知机就是在输入和输出中间再添加一个或多个全链接层,将中间的层称为“隐藏层”,下图为添加了一个全链接层的网络结构:
【AI】《动手学-深度学习-PyTorch版》笔记(十四):多层感知机-LMLPHP

1.3 隐藏层的作用

现实世界中,大部分问题不是线性问题,线性模型无法预测这些非线性问题,为此科学家们尝试再加入一层网络并配合来改变网络线性特征,使它可以处理更普遍的问题。

如果没有激活函数,多层仿射函数通过数学变换,可以合并成一层,可以证明只增加网络层,并不能改变线性特征。因此在每个隐藏层的输出加入激活函数,可以防止多层感知机退化成线性模型。

08-10 03:25