Yolov8涨点神器：创新卷积块NCB和创新Transformer 块NTB,助力检测，提升检测精度
🍉🍉定期更新不同数据集涨点情况 本博客将具有部署友好机制的强大卷积块和变换块，即NCB和NTB，引入到yolov8，实现高效涨点 通过开发新型的卷积块（NCB）和 Transformer 块（NTB），部署了友好的机制来捕获局部和全局信息。然后，该研究提出了一种新型混合策略 NHS，旨在以高效的混合范式堆叠 NCB 和 NTB，从而提高各种下游任务的性能。 该研究提出...
编码器 | 基于 Transformers 的编码器-解码器模型
基于 transformer 的编码器-解码器模型是 表征学习 和 模型架构 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 博文。此外，建议读者对 自注意力 (self-attention) 架构 有一个基本了解，可以阅读 Jay Alammar 的 这篇博文 复习一下原始 transformer 模型。本文分 ...
解码器 | 基于 Transformers 的编码器-解码器模型
基于 transformer 的编码器-解码器模型是 表征学习 和 模型架构 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 博文。此外，建议读者对 自注意力 (self-attention) 架构 有一个基本了解，可以阅读 Jay Alammar 的 这篇博文 复习一下原始 transformer 模型。本文分 ...
涨点技巧：Yolov5/Yolov7引入CVPR2023 Demystify Transformers & Convolutions ，提升小目标检测精度
Demystify Transformers & Convolutions in Modern Image Deep Networks 论文：https://arxiv.org/pdf/2211.05781.pdf 视觉转换器最近的成功激发了一系列具有新颖特征转换范例的视觉主干，这些范例报告了稳定的性能增益。尽管新颖的特征转换设计通常被认为是收益的来源，但一些主干可能受益于先进的工程技术，这使得很难确定关键特征转换算子...
YOLOv5/v7 更换骨干网络之 SwinTransformer
论文地址：https://arxiv.org/pdf/2103.14030.pdf 代码地址：https://github.com/microsoft/Swin-Transformer 本文介绍了一种新的视觉Transformer，称为Swin Transformer，它可以作为计算机视觉通用的骨干网络。从语言到视觉的转换中，适应Transformer所面临的挑战源于两个领域之间的差异，如视觉实体尺度的巨大变化和图像...
上篇 | 使用 🤗 Transformers 进行概率时间序列预测
的共型预测 (Conformal Prediction) 框架。方法的选择不会影响到建模，因此通常可以将其视为另一个超参数。通过采用经验均值或中值，人们总是可以将概率模型转变为点预测模型。时间序列 Transformer正如人们所想象的那样，在对本来就连续的时间序列数据建模方面，研究人员提出了使用循环神经网络 (RNN) (如 LSTM 或 GRU) 或卷积网络 (CNN) 的模型，或利用最近兴起的基于 Trans...
【自然语言处理】【大模型】用于大型Transformer的8-bit矩阵乘法介绍
原文地址：A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes 一、简介 语言模型正变的越来越大，PaLM已有有540B的参数量，而OPT、GPT-3和BLOOM则大约有176B参数量。下图是近些年语言模型的尺寸。 ...
NLP论文RoFormer(含源码)中文解读：具有旋转式位置嵌入的增强型transformer模型(一场相对革命)
3.3、公式推导 3.4、源码解释 GPT-NeoX（PyTorch） 网状变压器 JAX (JAX) 4、 对比实验 参考文献 1、论文与源码 RoFormer匹配或超过了目前可用于将位置信息注入transformer的所有其他方法。 论文地址：https://arxiv.org/abs/2104.09864 实现源码：https://github.com/ZhuiyiTechnology/roforme...
【机器学习】李宏毅——Transformer
Transformer具体就是属于Sequence-to-Sequence的模型，而且输出的向量的长度并不能够确定，应用场景如语音辨识、机器翻译，甚至是语音翻译等等，在文字上的话例如聊天机器人、文章摘要等等，在分类问题上如果有问题是一些样本同时属于多个类也可以用这个的方法来求解。只要是输入向量，输出向量都可以用这个模型来求解。那么Seq2seq的大致结构如下： 也就是有一个Encoder和一个Decoder，将输入的...
编译robotics_transformer
to$ ls t2r_pb2.py t2r.proto 可以看出成功编译出来了python文件 (google_RT1) robot@robot:~/ref$ python -m robotics_transformer.tokenizers.action_tokenizer.test2022-12-16 10:54:58.365470: I tensorflow/core/platform/cpu_feature...