简到极致、浅到极致！深度为6的网络即可取得76.36%@ImageNet的精度，深度为13的VanillaNet甚至取得了83.1%的惊人性能。
1.VanillaNet
论文：https://arxiv.org/pdf/2305.12972.pdf
来自华为诺亚、悉尼大学的研究者们提出了一种极简的神经网络模型 VanillaNet，以极简主义的设计为理念，网络中仅仅包含最简单的卷积计算，去掉了残差和注意力模块，在计算机视觉中的各种任务上都取得了不俗的效果。
VanillaNet，这是一种设计优雅的神经网络架构。 通过避免高深度、shortcuts和自注意力等复杂操作，VanillaNet 简洁明了但功能强大。
- 对于Stem部分，采用4×4卷积进行特征变换；
- 对于body部分的每个stage，首先采用MaxPool进行特征下采样，然后采用一个1×1进行特征处理；
- 对于head部分，采用两个非线性层进行分类处理