Transformer动画讲解 - 工作原理
Transformer模型在多模态数据处理中扮演着重要角色，其能够高效、准确地处理包含不同类型（如图像、文本、音频、视频等）的多模态数据。 Transformer工作原理四部曲：Embedding（向量化）、Attention（注意力机制）、MLPs（多层感知机）和Unembedding（模型输出）。 阶段一：Embedding（向量化） “Embedding”在字面上的翻译是“嵌入”，但在机器学习和自然语言处理的上...
AGI 之 【Hugging Face】 的【Transformer】的 [ 解码器 ] / [ 认识 Transformer ]的简单整理
AGI 之 【Hugging Face】 的【Transformer】的 [ 解码器 ] / [ 认识 Transformer ]的简单整理 目录 AGI 之 【Hugging Face】 的【Transformer】的 [ 解码器 ] / [ 认识 Transformer ]的简单整理 一、简单介绍 二、Transformer 三、解码器 四、认识Transformer 1、Transformer的生命树 2、编码器...
大语言模型-Transformer
用 3.诞生背景 4.历史版本 5.优缺点 5.1.优点 5.2.缺点 6.如何使用 7.应用场景 7.1.十大应用场景 7.2.聊天机器人 8.Python示例 9.总结 1.概述 大语言模型-Transformer是一种基于自注意力机制（self-attention）的深度学习模型，在处理序列数据（如自然语言）时展现出卓越的性能。Transformer模型由Vaswani等人在2017年提出，旨在解决传统的循环...
大模型Transformer讲解
文章目录 1. Transformer 原理1.1 注意力机制 (Attention Mechanism)1.2 多头注意力 (Multi-Head Attention) 2. Transformer 设计2.1 编码器 (Encoder)2.2 解码器 (Decoder) 3. Transformer 应用3.1 自然语言处理 (NLP)3.2 计算机视觉 (Computer Vision) 4. Transfor...
【AI大模型】Transformers大模型库（十四）：Datasets Viewer
目录 一、引言 二、Datasets Viewer数据查看器 2.1 概述 2.2 示例 三、总结 一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 本文重点介绍Hugging Face的Datasets Viewer用法 二、Datasets Viewer数据查看器 2.1 概述 Datasets Vi...
【人工智能】Transformers之Pipeline（三）：文本转音频（text-to-audio/text-to-speech）
一、引言 pipeline（管道）是huggingface transformers库中一种极简方式使用大模型推理的抽象，将所有大模型分为音频（Audio）、计算机视觉（Computer vision）、自然语言处理（NLP）、多模态（Multimodal）等4大类，28小类任务（tasks），共计覆盖32万个模型。 今天介绍Audio的第三篇，文本转音频（text-to-audio/text-to...
算法金 | 秒懂 AI - 深度学习五大模型：RNN、CNN、Transformer、BERT、GPT 简介
参数数量，提高了计算效率。适用数据 图像数据视频数据 应用场景 图像分类物体检测图像生成 经典案例LeNet-5 是最早的 CNN 之一，被用来进行手写数字识别，并取得了显著的成果。3. Transformer时间轴2017年，Google 发布了 Transformer 模型，极大地提升了自然语言处理的效率。关键技术 自注意力机制编码器-解码器架构多头注意力机制 核心原理Transformer...
用 Sentence Transformers v3 训练和微调嵌入模型
Sentence Transformers 是一个 Python 库，用于使用和训练各种应用的嵌入模型，例如检索增强生成 (RAG)、语义搜索、语义文本相似度、释义挖掘 (paraphrase mining) 等等。其 3.0 版本的更新是该工程自创建以来最大的一次，引入了一种新的训练方法。在这篇博客中，我将向你展示如何使用它来微调 Sentence Transformer 模型，以提高它们在特定任务上的性能。你也可以...
自然语言处理中的RNN、LSTM、TextCNN和Transformer比较
引言 在自然语言处理（NLP）领域，理解和应用各种模型架构是必不可少的。本文将介绍几种常见的深度学习模型架构：RNN（循环神经网络）、LSTM（长短期记忆网络）、TextCNN（文本卷积神经网络）和Transformer，并通过PyTorch代码展示其具体实现。这些模型各具特点，适用于不同类型的NLP任务。 1. 循环神经网络（RNN） 概述 RNN是一种用于处理序列数据的神经网络。与传统的神经网络不同，RNN具有循...
【AI大模型】Transformers大模型库（四）：AutoTokenizer
目录 一、引言 二、自动分词器（AutoTokenizer） 2.1 概述 2.2 主要特点 2.3 代码示例 三、总结 一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 本文重点介绍自动分词器（AutoTokenizer）。 二、自动分词器（AutoTokenizer） 2.1 概述 Aut...