解码Transformer：自注意力机制与编解码器机制详述与代码实现
一、 Transformer的出现背景 Transformer的出现标志着自然语言处理领域的一个里程碑。以下将从技术挑战、自注意力机制的兴起，以及Transformer对整个领域的影响三个方面来全面阐述其背景。1.1 技术挑战与先前解决方案的局限性RNN和LSTM早期的序列模型，如RNN和LSTM，虽然在某些场景下表现良好，但在实际操作中遇到了许多挑战： 计算效率：由于RNN的递归结构，它必须逐个处理序列中的元...
Meta-Transformer：基于Transformer的多模态感知，融合Token化与共享编码
论文标题：Meta-Transformer: A Unified Framework for Multimodal Learning 论文地址：https://arxiv.org/pdf/2307.10802.pdf 这里写目录标题 引言基于Transformer的多模态发展Meta-Transformer框架预备知识数据到序列如何分词（Data-to-Sequence Tokenization）统一编码器任务特定输...
第52步 深度学习图像识别：Transformer in Transformer建模（Pytorch）
基于WIN10的64位系统演示 一、写在前面 （1）Transformer in Transformer Transformer in Transformer（TNT）模型是一种新的图像分类模型，由研究者在2021年提出。这种模型的特点是在传统的Vision Transformer模型的基础上，引入了一种新的结构，使得模型可以更好地处理图像的局部和全局信息。 在传统的Vision Transformer模型中，输入图像...
ViT-vision transformer
ViT-vision transformer 介绍 Transformer最早是在NLP领域提出的，受此启发，Google将其用于图像，并对分类流程作尽量少的修改。 起源：从机器翻译的角度来看，一个句子想要翻译好，必须考虑上下文的信息！ 如：The animal didn’t cross the street because it was too tired将其翻译成中文，这里面就涉及了it这个词的翻译，具体it是指...
深度学习笔记之Transformer(八)Transformer模型架构基本介绍
机器学习笔记之Transformer——Transformer模型架构基本介绍 引言回顾：简单理解： Seq2seq \text{Seq2seq} Seq2seq模型架构与自编码器自注意力机制 Transformer \text{Transformer} Transformer架构关于架构的简单认识多头注意力机制包含掩码的多头注意力机制基于位置信息的前馈神经网络 残差网络与层标准化操作编码器的输出与信息传递关于预测问...
深度学习笔记之Transformer(七)Position Embedding再回首：从公式角度认识位置编码
深度学习笔记之Transformer——Position Embedding再回首：从公式角度认识位置编码 引言回顾： Word2vec \text{Word2vec} Word2vec系列模型位置编码 Transformer \text{Transformer} Transformer：绝对位置编码 引言 本节我们将从公式角度重新认识 Transformer \text{Transformer} Transform...
使用 Transformers 为多语种语音识别任务微调 Whisper 模型
本文提供了一个使用 Hugging Face 🤗 Transformers 在任意多语种语音识别 (ASR) 数据集上微调 Whisper 的分步指南。同时，我们还深入解释了 Whisper 模型、Common Voice 数据集以及微调等理论知识，并提供了数据准备和微调的相关代码。如果你想要一个全部是代码，仅有少量解释的 Notebook，可以参阅这个 Google Colab。目录 简介在 Google Col...
深度学习笔记之Transformer(五) Position Embedding铺垫:Word2vec
深度学习笔记之Transformer——Position Embedding铺垫：Word2vec 引言回顾：关于词特征表示的 One-hot \text{One-hot} One-hot编码目标函数构建关于语料库与任务目标似然函数构建 Word2vec \text{Word2vec} Word2vec模型结构重点总结 引言 在Transformer(三)自注意力机制一节中介绍了位置编码 ( Position Emb...
第51步 深度学习图像识别：Convolutional Vision Transformer建模（Pytorch）
基于WIN10的64位系统演示 一、写在前面 （1）Convolutional Vision Transformers Convolutional Vision Transformer（ConViT）是一种结合了卷积神经网络（Convolutional Neural Networks，简称CNN）和Transformer结构的深度学习模型，由Facebook AI在2021年提出。该模型旨在利用CNN在局部特征提取方面...
Transformer(四)--实现验证：transformer 机器翻译实践
转载请注明出处：https://blog.csdn.net/nocml/article/details/125711025 本系列传送门： Transformer(一)–论文翻译：Attention Is All You Need 中文版 Transformer(二)–论文理解：transformer 结构详解 Transformer(三)–论文实现：transformer pytorch 代码实现 Transfor...