【RL+Transformer综述】A Survey on Transformers in Reinforcement Learning论文笔记
文章题目：A Survey on Transformers in Reinforcement Learning 论文地址：论文地址 来源：arxiv 完成单位：清华大学、北京大学、BAAI、腾讯 Introduction Transformer结构能够建模长期的依赖关系，并且具有良好的伸缩性（可处理不同长度的序列数据） 最初将Transformer运用到强化学习，是通过将自注意力应用到表征学习，来提取实体间...
【时间序列预测】Informer论文笔记
文章全名：Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting 文章地址：[2012.07436] Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting (arxiv.org) 来源：AAAI ...
Transformer中位置嵌入的几种形式对比
博主原文链接：https://www.yourmetaverse.cn/nlp/490/ Transformer中位置嵌入的几种形式对比 在深度学习的领域里，Transformer模型因其在处理序列数据方面的高效性而广受欢迎。尽管Transformer在自然语言处理等领域取得了显著的成功，但其对位置信息的处理仍然是一个重要研究领域。位置嵌入（Position Embedding）在Transformer模型...
【自然语言处理】【大模型】赋予大模型使用工具的能力：Toolformer与ART
本文介绍两种赋予大模型使用外部工具能力的方法：Toolformer和ART。 Toolformer论文地址：https://arxiv.org/pdf/2302.04761.pdf ART论文地址：https://arxiv.org/pdf/2303.09014.pdf 一、Toolformer 大语言模型(LLM)效果惊人，但是仍然存在规模无法解决的局限性。这些局限性有：无法获得最新的信息以及产生...
为什么Transformer模型中使用Layer Normalization（Layer Norm）而不是Batch Normalization（BN）
博主原文链接：https://www.yourmetaverse.cn/nlp/484/ 为什么Transformer模型中使用Layer Normalization（Layer Norm）而不是Batch Normalization（BN） 在当今深度学习的浪潮中，Transformer模型已成为自然语言处理（NLP）的一颗璀璨明星。自从其在2017年被提出以来，Transformer已在机器翻译、文本生...
RT-DETR算法优化改进：Backbone改进｜RIFormer：无需TokenMixer也能达成SOTA性能的极简ViT架构 | CVPR2023
💡💡💡本文独家改进：RIFormer助力RT-DETR ，替换backbone， RIFormer-M36的吞吐量可达1185，同时精度高达82.6%；而PoolFormer-M36的吞吐量为109，精度为82.1%。 推荐指数：五星 RT-DETR魔术师专栏介绍： https://blog.csdn.net/m0_63774211/category_12497375.html ✨✨✨魔改创新RT-...
使用 Hugging Face Transformer 微调 BERT
微调 BERT有助于将其语言理解能力扩展到更新的文本领域。BERT 的与众不同之处在于它能够掌握句子的上下文关系，理解每个单词相对于其邻居的含义。我们将使用 Hugging Face Transformers 训练 BERT，还将教 BERT 分析 Arxiv 的摘要并将其分类为 11 个类别之一。 为什么微调 BERT 很重要？ 虽然预训练的 BERT 模型很强大，但它是一个通用工具。它理解语言，但不适合任...
RT-DETR算法优化改进：Backbone改进 | EMO，结合 CNN 和 Transformer 的现代倒残差移动模块设计 | ICCV2023
腾讯优图/浙大/北大提出：重新思考高效神经模型的移动模块 重新思考了 MobileNetv2 中高效的倒残差模块 Inverted Residual Block 和 ViT 中的有效 Transformer 的本质统一，归纳抽象了 MetaMobile Block 的一般概念。受这种现象的启发，作者设计了一种面向移动端应用的简单而高效的现代...
一键AI高清换脸——基于InsightFace、CodeFormer实现高清换脸与验证换脸后效果能否通过人脸比对、人脸识别算法
前言 AI换脸是指利用基于深度学习和计算机视觉来替换或合成图像或视频中的人脸。可以将一个人的脸替换为另一个人的脸，或者将一个人的表情合成到另一个人的照片或视频中。算法常常被用在娱乐目上，例如在社交媒体上创建有趣的照片或视频，也有用于电影制作、特效制作、人脸编辑工具和虚拟现实。但也有可能被滥用，用于欺骗、虚假信息传播或隐私侵犯。 随着AI换脸技术的广泛应用，这也引起很多的关注和担忧，因为它可以用于制造虚假的视...
用 Pytorch 自己构建一个Transformer
一、说明 用pytorch自己构建一个transformer并不是难事，本篇使用pytorch随机生成五千个32位数的词向量做为源语言词表，再生成五千个32位数的词向量做为目标语言词表，让它们模拟翻译过程，transformer全部用pytorch实现，具备一定实战意义。 二、论文和概要 在本教程中，我们将使用 PyTorch 从头开始构建一个基本的转换器模型。Vaswani...