Transformer网络
Transformer网络可以利用数据之间的相关性，最近需要用到这一网络，在此做一些记录。 1、Transformer网络概述 Transformer网络最初被设计出来是为了自然语言处理、语言翻译任务，这里解释的也主要基于这一任务展开。 在 Transformer 出现之前，递归神经网络(RNN)是自然语言处理的首选解决方案。当提供一个单词序列时，递归神经网络(RNN)将处理第一个单词，并将结果反馈到处理下一个单词的...
【YOLOv7/YOLOv5系列改进NO.50】超越ConvNeXt！Conv2Former：用于视觉识别的Transformer风格的ConvNet
文章目录 前言 一、解决问题 二、基本原理 三、添加方法 四、总结 前言 作为当前先进的深度学习目标检测算法YOLOv7，已经集合了大量的trick，但是还是有提高和改进的空间，针对具体应用场景下的检测难点，可以不同的改进方法。此后的系列文章，将重点对YOLOv7的如何改进进行详细的介绍，目的是为了给那些搞科研的同学需要创新点或者搞工程项目的朋友需要达到更好的效果提供自己的微薄帮助和参考。由于出到YOLOv7，YO...
CVPR2020-Meshed-Memory Transformer for Image Captioning
论文地址：Meshed-Memory Transformer for Image Captioning (thecvf.com) Background 本文在transformer的基础上，对于Image Caption任务，提出了一个全新的fully-attentive网络。在此之前大部分image captioning的工作还是基于CNN进行特征提取再有RNNs或者LSTMs等进行文本的生成。本文的主要创新点为...
swin Transformer
文章目录 swin Transformer创新点：网络架构：Patch Partitionlinear EmbeddingSwin TransformerPatch Merging 总结 swin Transformer 论文：https://arxiv.org/pdf/2103.14030.pdf 代码：https://github.com/microsoft/Swin-Transformer 本文参考：swin ...
bert 环境搭建之Pytorch&Transformer 安装
这两天跑以前的bert项目发现突然跑不了，报错信息如下： Step1 transformer 安装 RuntimeError: Failed to import transformers.models.bert.modeling_bert because of the following error (look up to see its traceback): module 'signal' has no attr...
动态TopicModel BERTopic 中文 长文本 SentenceTransformer BERT 均值特征向量 整体特征分词关键词
动态TopicModel BERTopic 中文 长文本 SentenceTransformer BERT 均值特征向量 整体特征分词Topic 主题模型与BERTopic 主题模型Topic Model最常用的算法是LDA隐含迪利克雷分布，然而LDA有很多缺陷，如： LDA需要主题数量作为输入，非常依赖这个值；LDA存在长尾问题，对于大量低频词数据集表现不好；LDA只考虑词频，没有考虑词与词之间的关系；LDA不考虑...
Online Decision Transformer
t al., 2021)，并通过类似于大规模语言建模的方法来解决。 然而，RL 的任何实际实例化还涉及在线组件，其中在被动离线数据集上预训练的策略通过与环境的特定任务交互进行微调。 我们提出了在线决策Transformer(ODT)，这是一种基于序列建模的 RL 算法，。 我们的框架使用序列级熵正则化器与自回归建模目标相结合，以实现样本有效的探索和微调。 根据经验，我们表明 ODT 在 D4RL 基准测试的绝对性能上与...
Vision Transformer with Deformable Attention
变形特征的多头注意力。我们只展示了 4 个参考点以进行清晰的展示，实际实施中还有更多参考点。 (b) 揭示了偏移生成网络的详细结构，标有特征图的大小。 3. Deformable Attention Transformer 3.1. Preliminaries 3.2. Deformable Attention 图 3. DAT 架构图解。 N 1 到N 4 是堆叠的连续局部注意和移位窗口/可变形注意块的数量。 k 和...
Swin Transformer代码实现部分细节重点
swin transformer 1.patch-merging部分 代码：【amazing】 x0 = x[:, 0::2, 0::2, :] # [B, H/2, W/2, C] 对应图片所有 1 的位置 x1 = x[:, 1::2, 0::2, :] # [B, H/2, W/2, C] 对应图片所有 3 的位置 x2 = x[:, 0::2, 1::2, :] # [B, H/2, W/2, C] 对应图片...
Transformer的Encoder为什么使用Lay Normalization而不是BatchNormalization?
Lay Normalization: LN Batch Normalization: BN 一、为什么要进行Normalize呢？ 在神经网络进行训练之前，都需要对于输入数据进行Normalize归一化，目的有二： 能够加快训练的速度。提高训练的稳定性。 先看图，LN是在同一个样本中不同神经元之间进行归一化，而BN是在同一个batch中不同样本之间的同一位置的神经元之间进行归一化。 BN是对于相同的维度进行归一化，但...