YoloV8改进策略：Block改进|细节增强注意力模块（DEAB）|即插即用
文章目录 摘要 一、论文介绍 二、创新点 三、方法 四、模块作用 五、改进的效果（以YoloV8为例） 论文翻译：《DEA-Net：基于细节增强卷积和内容引导注意力的单幅图像去雾》 I 引言 II. 相关工作 III 方法论 IV 实验 V 结论 需要安装的库 代码 改进方法 测试结果 总结 摘要 一、论文介绍 DEA-Net的提出背景：单幅图像去雾是一项具有挑战性的任务，旨在从观测到的雾图中恢复出潜...
Yolo11改进策略：Head改进|DynamicHead，利用注意力机制统一目标检测头部|即插即用
摘要 论文介绍 本文介绍了一种名为DynamicHead的模块，该模块旨在通过注意力机制统一目标检测头部，以提升目标检测的性能。论文详细阐述了DynamicHead的工作原理，并通过实验证明了其在COCO基准测试上的有效性和效率。 创新点 DynamicHead模块的创新之处在于它首次尝试在一个统一的框架中结合了尺度感知、空间感知和任务感知的注意力机制。这三个注意力机制分别作用于特征张量的不同维度上，...
复现LLM——带你从零认识自注意力
码器输出的最终隐藏状态，而无法访问编码器中更早期的隐藏状态，这可能会导致上下文丢失，尤其是在依赖关系可能跨越很长距离的复杂句子中。 为此，研究人员在 2014 年开发了 RNN 的 Bahdanau 注意力机制，该机制所作的重要修改是允许在解码步骤中选择性地访问输入序列的不同部分。 仅仅三年后，谷歌发表了论文《Attention is all you need》,指出RNN对于构建自然语言的神经网络并不...
YOLOv11改进有效涨点专栏目录 | 含卷积、主干、注意力机制、Neck、检测头、损失函数、二次创新C2PSA/C3k2等各种网络结构改进
专栏目录，YOLOv11以及发布了一个月左右，这个过程中我也是给大家整理了许多的机制，其中包含了C3k2、C2PSA、主干（均支持根据yolov11训练的版本进行二次缩放，全系列都能轻量化）、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新 | C3k2和C2PSA以及检测头是YOLOv11和YOLOv8的主要区别也是本专栏主要改进方向。同时本人一些讲解视频（YOLOv11有...
深度学习知识点3-CBAM轻量的注意力模块
论文：（2018）包含空间注意力和通道注意力两部分1807.06521https://arxiv.org/pdf/1807.06521 通道注意力：对input feature maps每个feature map做全局平均池化和全局最大池化，得到两个1d向量，再经过conv，ReLU，1x1conv，sigmoid进行归一化后对input feature maps加权。 空间注意力：对feature...
【深度学习与NLP】——注意力机制
1 注意力机制 1.1 学习目标 了解什么是注意力计算规则以及常见的计算规则.了解什么是注意力机制及其作用.掌握注意力机制的实现步骤. 什么是注意力: 我们观察事物时，之所以能够快速判断一种事物(当然允许判断是错误的), 是因为我们大脑能够很快把注意力放在事物最具有辨识度的部分从而作出判断，而并非是从头到尾的观察一遍事物后，才能有判断结果. 正是基于这样的理论，就产生了注意力机制. 什么是注意力计算规则...
【学习方法】高效学习因素 ① ( 开始学习 | 高效学习因素五大因素 | 高效学习公式 - 学习效果 = 时间 x 注意力 x 精力 x 目标 x 策略 )
文章目录 一、高效学习因素1、开始学习2、高效学习因素五大因素3、高效学习公式 - 学习效果 = 时间 x 注意力 x 精力 x 目标 x 策略 一、高效学习因素 1、开始学习 对于 学习差 , 调皮捣蛋 的学生 , 不要把 学习成绩差 的 原因 归因为 不爱学习 / 没有学习方法 , 可能是 还没有 " 开始学习 " ; 这个阶段的学生 , 需要的不是 " 学习方法 / 学习理论 " , 而是要 "...
YOLOv8改进 | 添加注意力篇 | 利用YOLOv10提出的PSA注意力机制助力YOLOv8有效涨点（附代码 + 详细修改教程）
一、本文介绍 本文给大家带来的改进机制是YOLOv10提出的PSA注意力机制，自注意力在各种视觉任务中得到了广泛应用，因为它具有显著的全局建模能力。然而，自注意力机制表现出较高的计算复杂度和内存占用。为了解决这个问题，鉴于注意力头冗余的普遍存在，我们提出了一种高效的部分自注意力（PSA）模块设计，其能够在不显著增加计算成本的情况下提升YOLO模型的性能！本文附其网络结构图辅助大家理解该结构，同时本文包含...
FFA-Net：用于单图像去雾的特征融合注意力网络
摘要 论文链接：https://arxiv.org/pdf/1911.07559v2 在这篇论文中，我们提出了一种端到端的特征融合注意力网络（FFA-Net）来直接恢复无雾图像。FFA-Net架构由三个关键组件组成： 一种新颖的特征注意力（FA）模块结合了通道注意力与像素注意力机制，考虑到不同通道特征包含完全不同的加权信息，且雾在图像的不同像素上分布不均匀。FA模块对不同的特征和像素进行非等权重处理，...
【Transformer系列（2）】Multi-head self-attention 多头自注意力
一、多头自注意力 多头自注意力机制与自注意力机制的区别在于，Q，K，V向量被分为了num_heads份。 实现流程 （1）根据num_heads参数将单头变成多头，获取多头注意力中的各个头的Q，K，V值 （2）Q叉乘K的转置，再使用softmax，获取attention （3）attention叉乘V，得到输出 二、代码实现 （1）根据num_heads参数将单头变成多头，获取多头注意力中的各个头的Q...