CVPR2020-Meshed-Memory Transformer for Image Captioning
论文地址：Meshed-Memory Transformer for Image Captioning (thecvf.com) Background 本文在transformer的基础上，对于Image Caption任务，提出了一个全新的fully-attentive网络。在此之前大部分image captioning的工作还是基于CNN进行特征提取再有RNNs或者LSTMs等进行文本的生成。本文的主...
Transformer网络
Transformer网络可以利用数据之间的相关性，最近需要用到这一网络，在此做一些记录。 1、Transformer网络概述 Transformer网络最初被设计出来是为了自然语言处理、语言翻译任务，这里解释的也主要基于这一任务展开。 在 Transformer 出现之前，递归神经网络(RNN)是自然语言处理的首选解决方案。当提供一个单词序列时，递归神经网络(RNN)将处理第一个单词，并将结果反馈到处理下...
Vision Transformer with Deformable Attention
多头注意力。我们只展示了 4 个参考点以进行清晰的展示，实际实施中还有更多参考点。 (b) 揭示了偏移生成网络的详细结构，标有特征图的大小。 3. Deformable Attention Transformer 3.1. Preliminaries 3.2. Deformable Attention 图 3. DAT 架构图解。 N 1 到N 4 是堆叠的连续局部注意和移位窗口/可变形注意块的数量。 k 和...
Conformer测试问题
https://github.com/pengzhiliang/Conformer 抽空测试了conformer，训练起来很简单，但是会遇到一个问题： Loss is nan, stopping training 我用的默认配置，不知道为什么会有这个问题，知道的来探讨下。（再次测试了下，下载作者提供的模型作为预模型可以避免这个问题） 1.数据准备 我直接拿了猫狗大战的数据来测试，下面是目录结构 一级目录 ...
Talk | 微软亚洲研究院宋恺涛&南大余博涛：面向文本/音乐序列任务的Transformer注意力机制设计
Talk·信息 ▼ 主题：面向文本/音乐序列任务的Transformer注意力机制设计 嘉宾：微软亚洲研究院研究员 宋恺涛 南京大学硕士研究生 余博涛 时间：北京时间 11月22日 (周二) 20:00 地点：TechBeat人工智能社区 http://www.techbeat.net/ 点击下方链接，即可观看视频 TechBeatTechBeat是荟聚全球华人AI精英的成长社区，每周上新来自顶尖大厂、明...
Swin Transformer代码实现部分细节重点
swin transformer 1.patch-merging部分 代码：【amazing】 x0 = x[:, 0::2, 0::2, :] # [B, H/2, W/2, C] 对应图片所有 1 的位置 x1 = x[:, 1::2, 0::2, :] # [B, H/2, W/2, C] 对应图片所有 3 的位置 x2 = x[:, 0::2, 1::2, :] # [B, H/2, W/2, C]...
Transformer的Encoder为什么使用Lay Normalization而不是BatchNormalization?
Lay Normalization: LN Batch Normalization: BN 一、为什么要进行Normalize呢？ 在神经网络进行训练之前，都需要对于输入数据进行Normalize归一化，目的有二： 能够加快训练的速度。提高训练的稳定性。 先看图，LN是在同一个样本中不同神经元之间进行归一化，而BN是在同一个batch中不同样本之间的同一位置的神经元之间进行归一化。 BN是对于相同的维度进行...
transformer代码pytorch版本，来源于哔哩哔哩的网课学习笔记
transformer代码 哔哩哔哩很多课程，但是资源很难领取，代码和PPT不好找到 学习的过程中对照网课视频敲了代码，分享给大家使用 只包含代码主体，测试部分放到下方 顺便请教一个问题：视频中 mask = Variable(torch.zeros(8,4,4))。输出是（2，4，512） 我这边的代码会报错。 mask = Variable(torch.zeros(2,4,4))的时候是没问题的，当然此...
Utilizing Transformer Representations Efficiently
t Hidden State OutputHidden States Output More...References Introduction 在用预训练模型微调时，我们比较习惯于直接用 Transformer 最后一层的输出经过 FC / Bi-LSTM… 后输出最终结果。但实际上，Transformer 的每个层都捕捉的是不同粒度的语言信息 (i.e. with surface features in ...
通过SASRec算法进行基于Transformer的商品推荐
案例简介 (1)方法概述: 本教程包含如下内容： 从原始的数据文件中加载数据，进行训练集和测试集的切分，并对测试集进行负采样。 对数据分batch, 利用用户历史点击记录进行模型训练 结果展示 (2)宏观流程图 2.准备工作 (1) 对应库的安装(以下是运行环境) tqdm==4.51.0 numpy==1.19.2 torch==1.7.0 (2) 其他环境 python=3.8 数据集：https://d...