《深度学习实战》第4集：Transformer 架构与自然语言处理（NLP）
《深度学习实战》第4集：Transformer 架构与自然语言处理（NLP） 在自然语言处理（NLP）领域，Transformer 架构的出现彻底改变了传统的序列建模方法。它不仅成为现代 NLP 的核心，还推动了诸如 BERT、GPT 等预训练模型的发展。本集将带你深入了解 Transformer 的工作原理，并通过实战项目微调 BERT 模型完成情感分析任务。 1. 自注意力机制与多头注意力 1.1 自...
阅读论文笔记《Translating Embeddings for Modeling Multi-relational Data》
、模型核心原理剖析二、实验设计与数据集选择三、实验结果深度解读（一）链接预测实验（二）关系分类实验（三）链接预测示例（四）泛化实验 四、模型优缺点总结（一）优点（二）缺点 五、后续工作 最近研读了关于TransE模型的论文，在此记录一下心得。 一、模型核心原理剖析 TransE 模型旨在学习知识库中实体和关系的嵌入表示。它的核心思想十分巧妙，将实体和关系都用向量来表示。想象一下，在一个向量空间里，每个实体和...
【深度学习】Transformer入门：通俗易懂的介绍
【深度学习】Transformer入门：通俗易懂的介绍 一、引言二、从前的“读句子”方式三、Transformer的“超级阅读能力”四、Transformer是怎么做到的？五、Transformer的“多视角”能力六、Transformer的“位置记忆”七、Transformer的“翻译流程”八、Transformer为什么这么厉害？九、Transformer的应用十、总结 一、引言 在自然语言处理（NL...
【深度学习】Transformer技术报告：架构与原理
【深度学习】Transformer 技术报告：架构与原理 一、引言二、Transformer 的基本架构2.1 总体架构2.2 编码器（Encoder）2.3 解码器（Decoder）2.4 输入嵌入与位置编码 三、Transformer 的关键特性四、应用场景五、总结 一、引言 Transformer 是一种基于注意力机制（Attention Mechanism）的深度学习架构，最初由 Vaswani ...
《Transformer架构完全解析：从零开始读懂深度学习的革命性模型》
Transformer 架构是深度学习领域（尤其是自然语言处理）的革命性模型，由 Google 团队在 2017 年的论文 Attention Is All You Need 中提出。它完全基于注意力机制（Self-Attention），摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN），显著提升了模型并行计算能力和长距离依赖建模能力。 以下是 Transformer 架构的完整解析： 一、核心思...
手撕Transformer编码器：从Self-Attention到Positional Encoding的PyTorch逐行实现
Transformer 编码器深度解读 + 代码实战 1. 编码器核心作用 Transformer 编码器的核心任务是将输入序列（如文本、语音）转换为富含上下文语义的高维特征表示。它通过多层自注意力（Self-Attention）和前馈网络（FFN），逐步建模全局依赖关系，解决传统RNN/CNN的长距离依赖缺陷。 2. 编码器单层结构详解 每层编码器包含以下模块（附 PyTorch 代码）： 2.1 多头...
Transformers as SVM（2023 NIPS）
。此外，文中探讨了过参数化如何促进全局收敛，并提出了一个更广泛的SVM等价模型来预测非线性头下的隐式偏差。这些发现有助于理解多层变压器作为分层最大间隔令牌选择机制的工作原理。 全文摘要 这篇论文探讨了Transformer模型中自注意力层的优化几何与支持向量机（SVM）问题之间的联系。作者证明了一层Transformer模型在梯度下降下优化时会倾向于找到一个最小化核范数或Frobenius范数的支持向量机解...
React第十三章(useTransition)
useTransition useTransition 是 React 18 中引入的一个 Hook，用于管理 UI 中的过渡状态，特别是在处理长时间运行的状态更新时。它允许你将某些更新标记为“过渡”状态，这样 React 可以优先处理更重要的更新，比如用户输入，同时延迟处理过渡更新。 用法 const [isPending, startTransition] = useTransition(); 参数 ...
剪切变换（Shear Transformation）
在图像处理中，剪切变换（Shear Transformation）是一种几何变换，它可以使图像在某个方向上被拉伸或压缩，而不会改变图像的大小或形状。剪切变换通常用于图像的几何校正、特效制作或作为图像增强的一部分。以下是剪切变换的一些基本特点： 1. **方向性**：剪切变换可以沿着水平方向（x轴）或垂直方向（y轴）进行。水平剪切会改变图像在水平方向上的拉伸或压缩，而垂直剪切则影响垂直方向。 2. **非均匀...
【AI大模型】Transformers大模型库（七）：单机多卡推理之device_map
二、单机多卡推理之device_map 2.1 概述 2.2 自动配置，如device_map="auto" 2.3 手动配置，如device_map="cuda:1" 三、总结 一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 本文重点介绍如何使用device_map进行单机多卡推理。 二、单机多...