1. 基础公式
这里就是有两个 3 3 3 通道的卷积核；或者理解成有 6 6 6 个 3 × 3 3×3 3×3。
从下图中可发现：偏置数量=输出通道数；卷积核种类=输出通道数。
2. 以LeNet5为案例分析
2.1 架构图
2.2 C1层
输入图片大小： 32 ∗ 32 32*32 32∗32
卷积窗大小： 5 ∗ 5 5*5 5∗5
卷积窗种类： 6 6 6
输出特征图数量：6
输出特征图大小： 28 ∗ 28 28*28 28∗28
神经元数量： 4704 4704 4704， [ ( 28 ∗ 28 ) ∗ 6 ) ] [(28*28)*6)] [(28∗28)∗6)]
连接数： 12304 12304 12304， [ ( 5 ∗ 5 + 1 ) ] ∗ [ 6 ∗ ( 28 ∗ 28 ) ] [(5*5+1)]*[6*(28*28)] [(5∗5+1)]∗[6∗(28∗28)]
可训练参数： 156 156 156， [ ( 5 ∗ 5 ) ∗ ( 1 ∗ 6 ) + 6 ] [(5*5)*(1*6)+6] [(5∗5)∗(1∗6)+6]
2.3 S2层
输入图片大小： ( 28 ∗ 28 ) ∗ 6 (28*28)*6 (28∗28)∗6
卷积窗大小： 2 ∗ 2 2*2 2∗2
卷积窗种类： 6 6 6
输出下采样图数量： 6 6 6
输出下采样图大小： 14 ∗ 14 14*14 14∗14
神经元数量： 1176 1176 1176， ( 14 ∗ 14 ) ∗ 6 (14*14)*6 (14∗14)∗6
连接数： 5880 5880 5880， ( 2 ∗ 2 + 1 ) ∗ [ ( 14 ∗ 14 ) ∗ 6 ] (2*2+1)*[(14*14)*6] (2∗2+1)∗[(14∗14)∗6]
可训练参数： 12 12 12， ( 6 ∗ 2 ) (6*2) (6∗2)
2.4 C3层
输入图片大小： ( 14 ∗ 14 ) ∗ 6 (14*14)*6 (14∗14)∗6
卷积窗大小： 5 ∗ 5 5*5 5∗5
卷积窗种类： 16 16 16
输出特征图数量： 16 16 16
输出特征图大小： 10 ∗ 10 10*10 10∗10
神经元数量： 1600 1600 1600， [ ( 10 ∗ 10 ) ∗ 16 ) ] [(10*10)*16)] [(10∗10)∗16)]
连接数： 151600 151600 151600， [ ( 60 + 16 ) ] ∗ 25 ∗ ( 10 ∗ 10 ) [(60+16)]*25*(10*10) [(60+16)]∗25∗(10∗10) （部分连接）
可训练参数： 1516 1516 1516， [ ( 60 + 16 ) ∗ 25 ] [(60+16)*25] [(60+16)∗25]
2.5 S4层
输入图片大小： ( 10 ∗ 10 ) ∗ 16 (10*10)*16 (10∗10)∗16
卷积窗大小： 2 ∗ 2 2*2 2∗2
卷积窗种类： 16 16 16
输出下采样图数量： 16 16 16
输出下采样图大小： 5 ∗ 5 5*5 5∗5
神经元数量： 400 400 400， ( 5 ∗ 5 ) ∗ 16 (5*5)*16 (5∗5)∗16
连接数： 2000 2000 2000， ( 2 ∗ 2 + 1 ) ∗ [ ( 14 ∗ 14 ) ∗ 16 ] (2*2+1)*[(14*14)*16] (2∗2+1)∗[(14∗14)∗16]
可训练参数： 32 32 32， ( 16 ∗ 2 ) (16*2) (16∗2)
2.6 C5层
输入图片大小： ( 5 ∗ 5 ) ∗ 16 (5*5)*16 (5∗5)∗16
卷积窗大小： 5 ∗ 5 5*5 5∗5
卷积窗种类： 120 120 120
输出特征图数量： 120 120 120
输出特征图大小： 1 ∗ 1 1*1 1∗1
神经元数量： 120 120 120， 120 ∗ ( 1 ∗ 1 ) 120*(1*1) 120∗(1∗1)
连接数： 48120 48120 48120， [ 16 ∗ 25 + 1 ] ∗ 1 ∗ 120 ( 全连接） [16*25+1]*1*120(全连接） [16∗25+1]∗1∗120(全连接）
2.7 F6层
输入图片大小： ( 1 ∗ 1 ) ∗ 120 (1*1)*120 (1∗1)∗120
卷积窗大小： 1 ∗ 1 1*1 1∗1
卷积窗种类： 84 84 84
输出特征图数量： 84 84 84
输出特征图大小： 1 1 1
神经元数量： 84 84 84
连接数： 10164 10164 10164， ( 120 + 1 ) ∗ 84 ( 全连接 ) (120+1)*84(全连接) (120+1)∗84(全连接)
可训练参数： 10164 10164 10164， 120 ∗ 84 + 84 120*84+84 120∗84+84
2.8 OUTPUT层：
输入向量： 84 84 84
输出向量： 10 10 10