1. 网络轻量化相关技术

yolov5剪枝实战2:网络剪枝原理介绍-LMLPHP
网络轻量化的相关技术分类:1. 网络剪枝(Network pruning) 2. 稀疏表示(Sparse representation) 3. Bits precision(低比特表示,比如不用浮点型,使用int量化) 4. Kownledge distillation(知识蒸馏)

2. 网络剪枝

神经网络一般都是over-parameterized,也就是说网络参数一般是冗余的,超过解决任务所需要的权重数,所以针对冗余的权重和神经元就可以被剪枝掉。
yolov5剪枝实战2:网络剪枝原理介绍-LMLPHP
这种思想也可以从人类自身的成长得到启示,比如小孩在出生不久它的突触密度是比较稀疏的,到6岁左右突触就比较密集。而在成长过程中,那些密集的突触反而又会变得稀疏,比如14岁左右它相对于6岁而言突触变得洗刷,然而对于人的思维反而是有利的,可以认为在人类成长过程中突触之间学到了更多有用的知识。

2. 1 剪枝的类型

权重剪枝(weight pruning)

对于网络的剪枝再什么样的颗粒度进行剪枝呢?,最小的颗粒度就是weight pruning, 在下图示意图中,在全连接的神经元之间都有相应的权重,我们如果可以将

11-19 08:12