YOLOv8改进 | 添加注意力篇 | 利用YOLOv10提出的PSA注意力机制助力YOLOv8有效涨点（附代码 + 详细修改教程）
一、本文介绍 本文给大家带来的改进机制是YOLOv10提出的PSA注意力机制，自注意力在各种视觉任务中得到了广泛应用，因为它具有显著的全局建模能力。然而，自注意力机制表现出较高的计算复杂度和内存占用。为了解决这个问题，鉴于注意力头冗余的普遍存在，我们提出了一种高效的部分自注意力（PSA）模块设计，其能够在不显著增加计算成本的情况下提升YOLO模型的性能！本文附其网络结构图辅助大家理解该结构，同时本文包含...
FFA-Net：用于单图像去雾的特征融合注意力网络
摘要 论文链接：https://arxiv.org/pdf/1911.07559v2 在这篇论文中，我们提出了一种端到端的特征融合注意力网络（FFA-Net）来直接恢复无雾图像。FFA-Net架构由三个关键组件组成： 一种新颖的特征注意力（FA）模块结合了通道注意力与像素注意力机制，考虑到不同通道特征包含完全不同的加权信息，且雾在图像的不同像素上分布不均匀。FA模块对不同的特征和像素进行非等权重处理，...
【Transformer系列（2）】Multi-head self-attention 多头自注意力
一、多头自注意力 多头自注意力机制与自注意力机制的区别在于，Q，K，V向量被分为了num_heads份。 实现流程 （1）根据num_heads参数将单头变成多头，获取多头注意力中的各个头的Q，K，V值 （2）Q叉乘K的转置，再使用softmax，获取attention （3）attention叉乘V，得到输出 二、代码实现 （1）根据num_heads参数将单头变成多头，获取多头注意力中的各个头的Q...
【Transformer系列（3）】cross attention（交叉注意力）
一、cross attention和self-attention的不同 Cross attention和self-attention是在自然语言处理中常用的两种注意力机制。 Self-attention是一种自我关注机制，用于计算输入序列中每个元素与其他元素的关联程度。具体来说，对于给定的输入序列，self-attention机制将每个元素与序列中的所有元素计算关联度，并根据关联度对序列中的每个元素进...
YOLOv8改进 | 检测头篇 | 自研超分辨率检测头HATHead助力超分辨率检测（混合注意力变换器检测头）
一、本文介绍 本文给大家带来的改进机制是由由我本人利用HAT注意力机制（超分辨率注意力机制）结合V8检测头去掉其中的部分内容形成一种全新的超分辨率检测头。混合注意力变换器（HAT）的设计理念是通过融合通道注意力和自注意力机制来提升单图像超分辨率重建的性能。通道注意力关注于识别哪些通道更重要，而自注意力则关注于图像内部各个位置之间的关系。HAT利用这两种注意力机制，有效地整合了全局的像素信息。本文中均有添...
YOLOv9改进策略 ：红外小目标 | 注意力 |多膨胀通道精炼（MDCR）模块，红外小目标暴力涨点| 2024年3月最新成果
💡💡💡本文独家改进：多膨胀通道精炼（MDCR）模块，解决目标的大小微小以及红外图像中通常具有复杂的背景的问题点,2024年3月最新成果 💡💡💡红外小目标实现暴力涨点，只有几个像素的小目标识别率大幅度提升 💡💡💡多个私有数据集涨点明显，如缺陷检测NEU-DET、农业病害检测等； 改进1结构图如下： 改进2结构图如下： 《YOLOv9魔术师专栏》将从以下各个方向进行创新： 【原创自研模块】【...
使用注意力机制的 LSTM 彻底改变时间序列预测
目录 一、说明二、LSTM 和注意力机制简介三、为什么要将 LSTM 与时间序列注意力相结合？四、模型架构训练与评估 五、验证六、计算指标七、结论 一、说明 在时间序列预测领域，对更准确、更高效的模型的追求始终存在。深度学习的应用为该领域的重大进步铺平了道路，其中，长短期记忆 （LSTM） 网络与注意力机制的集成尤其具有革命性。本文深入探讨了一个实际案例研究：使用这种复杂的架构预测 Apple ...
改进YOLO系列 | EfficientViT：用于高分辨率密集预测的多尺度线性注意力 | ICCV 2023
成为可能，例如计算摄影、自动驾驶等。然而，庞大的计算成本使得在硬件设备上部署最先进的高分辨率密集预测模型变得困难。本文介绍了EfficientViT，一种新的高分辨率视觉模型系列，具有新颖的多尺度线性注意力。与依赖于重型 softmax 注意力、硬件效率低下的大核卷积或复杂的拓扑结构以获得良好性能的先前高分辨率密集预测模型不同，我们的多尺度线性注意力仅通过轻量级和硬件高效的操作实现了全局感受野和多尺度学...
特征融合篇 | 结合内容引导注意力 DEA-Net 思想 实现双主干特征融合新方法 | IEEE TIP 2024
问题，它从观察到的雾化图像中估计潜在的无雾图像。一些现有的基于深度学习的方法致力于通过增加卷积的深度或宽度来改善模型性能。卷积神经网络（CNN）结构的学习能力仍然未被充分探索。本文提出了一个细节增强的注意力块（DEAB），由细节增强卷积（DEConv）和内容引导注意力（CGA）组成，用于增强特征学习以提高去雾性能。具体而言，DEConv将先验信息集成到普通卷积层中，以增强表示和泛化能力。然后通过使用重参...
YOLOv9改进策略 ：注意力机制 | 注意力机制与卷积的完美融合 | 最新移动端高效网络架构 CloFormer
💡💡💡本文改进内容： 引入CloFormer 中的 AttnConv，上下文感知权重使得模型能够更好地适应输入内容。相比于局部自注意力机制，引入共享权重使得模型能够更好地处理高频信息，从而提高性能。 💡💡💡注意力机制与卷积的完美融合 AttnConv | 亲测在多个数据集能够实现涨点 改进结构图如下： 《YOLOv9魔术师专栏》将从以下各个方向进行创新： 【原创自研模块】【多组合点优化】【...