大语言模型底层架构丨带你认识Transformer
age Models，NLM）以及预训练语言模型（Pre-trained Language Models，PLM）等不同角度开展了系列工作。这些研究在不同阶段都对自然语言处理任务有着重要作用。随着基于Transformer 各类语言模型的发展以及预训练微调范式在自然语言处理各类任务中取得突破性进展，从2020 年OpenAI 发布GPT-3 开始，大语言模型研究也逐渐深入。虽然大语言模型的参数量巨大，通过有监督微调和强...
深度学习中的Transformer机制
Transformer 是一种深度学习模型结构，最初由Vaswani等人于2017年提出，用于自然语言处理任务，尤其是机器翻译。Transformer 引入了自注意力机制（self-attention mechanism），这是其在处理序列数据时的关键创新。 以下是 Transformer 模型的主要组成部分和机制： 自注意力机制（Self-Attention）： 自注意力机制允许模型在处理序列数据时为每个位置分配不同...
深入了解前馈网络、CNN、RNN 和 Hugging Face 的 Transformer 技术！
s, test_acc = model.evaluate(test_data, test_labels)print(f'Test accuracy: {test_acc}') 五、变形金刚 5.1 Transformer 片段（使用 Hugging Face 的 Transformers 库）： Hugging Face 的 Transformers 库使使用 BERT、GPT-2 等 Transformer 架构变...
Transformer中WordPiece/BPE等不同编码方式详解以及优缺点
博主原文链接：https://www.yourmetaverse.cn/nlp/493/ Transformer中WordPiece/BPE等不同编码方式详解以及优缺点 在自然语言处理（NLP）中，文本编码是一个基础而重要的环节。Transformer模型作为近年来NLP领域的一项革命性技术，其性能在很大程度上依赖于有效的文本编码方法。本文将探讨Transformer中常用的两种编码方式：WordPiece和BPE（...
【RL+Transformer综述】A Survey on Transformers in Reinforcement Learning论文笔记
文章题目：A Survey on Transformers in Reinforcement Learning 论文地址：论文地址 来源：arxiv 完成单位：清华大学、北京大学、BAAI、腾讯 Introduction Transformer结构能够建模长期的依赖关系，并且具有良好的伸缩性（可处理不同长度的序列数据） 最初将Transformer运用到强化学习，是通过将自注意力应用到表征学习，来提取实体间的关系，从...
Transformer中位置嵌入的几种形式对比
博主原文链接：https://www.yourmetaverse.cn/nlp/490/ Transformer中位置嵌入的几种形式对比 在深度学习的领域里，Transformer模型因其在处理序列数据方面的高效性而广受欢迎。尽管Transformer在自然语言处理等领域取得了显著的成功，但其对位置信息的处理仍然是一个重要研究领域。位置嵌入（Position Embedding）在Transformer模型中扮演着关...
为什么Transformer模型中使用Layer Normalization（Layer Norm）而不是Batch Normalization（BN）
博主原文链接：https://www.yourmetaverse.cn/nlp/484/ 为什么Transformer模型中使用Layer Normalization（Layer Norm）而不是Batch Normalization（BN） 在当今深度学习的浪潮中，Transformer模型已成为自然语言处理（NLP）的一颗璀璨明星。自从其在2017年被提出以来，Transformer已在机器翻译、文本生成、语音识...
使用 Hugging Face Transformer 微调 BERT
微调 BERT有助于将其语言理解能力扩展到更新的文本领域。BERT 的与众不同之处在于它能够掌握句子的上下文关系，理解每个单词相对于其邻居的含义。我们将使用 Hugging Face Transformers 训练 BERT，还将教 BERT 分析 Arxiv 的摘要并将其分类为 11 个类别之一。 为什么微调 BERT 很重要？ 虽然预训练的 BERT 模型很强大，但它是一个通用工具。它理解语言，但不适合任何特定任务...
RT-DETR算法优化改进：Backbone改进 | EMO，结合 CNN 和 Transformer 的现代倒残差移动模块设计 | ICCV2023
2023 腾讯优图/浙大/北大提出：重新思考高效神经模型的移动模块 重新思考了 MobileNetv2 中高效的倒残差模块 Inverted Residual Block 和 ViT 中的有效 Transformer 的本质统一，归纳抽象了 MetaMobile Block 的一般概念。受这种现象的启发，作者设计了一种面向移动端应用的简单而高效的现代...
Transformers 中原生支持的量化方案概述
本文旨在对 transformers 支持的各种量化方案及其优缺点作一个清晰的概述，以助于读者进行方案选择。目前，量化模型有两个主要的用途: 在较小的设备上进行大模型推理对量化模型进行适配器微调 到目前为止，transformers 已经集成并 原生 支持了 bitsandbytes 和 auto-gptq 这两个量化库。请注意，🤗 optimum 还支持更多的量化方案，但本文不会涉及这一块内容。要详细了解每种方...