循环神经网络(RNN)模型
一、概述 循环神经网络（Recurrent Neural Network, RNN）是一种专门设计用于处理序列数据（如文本、语音、时间序列等）的神经网络模型。其核心思想是通过引入时间上的循环连接，使网络能够保留历史信息并影响当前输出。二、模型原理 RNN的关键特点是隐藏状态的循环传递，即当前时刻的输出不仅依赖于当前输入，还依赖于之前所有时刻的信息，这种机制使RNN能够建模序列的时序依赖性。一...
【AI 大模型】RAG 检索增强生成 ⑥ ( 使用 向量数据库 作为 RAG 知识库 完整实现 )
文章目录 一、本地知识库 搭建1、大模型弊端2、向量数据库 -> 本地知识库 二、RAG 检索增强生成 三阶段1、RAG 三阶段简介2、RAG 三阶段 流程图3、检索 Retrieval - 向量相似度匹配4、增强 Augmented - 知识库信息注入5、生成 Generation - 大模型整合输出 三、完整代码示例1、生成本地知识库代码示例2、生成本地知识库执行结果3、RAG 服务实现① 检索...
[多线程]基于环形队列（RingQueue）的生产者-消费者模型的实现
标题：[多线程]基于环形队列（RingQueue）的生产者-消费者模型 @水墨不写bug 一、模型实现 接下来我们要实现一个基于环形队列（RingQueue）的生产者-消费者模型。该模型使用信号量和互斥锁来保证生产者和消费者之间的同步与互斥操作。 #pragma once#include <iostream>#include <vector>#include <pthread.h>#incl...
数据增强术：如何利用大模型（LLMs）来模拟不同的扰动类型以增强信息提取任务的鲁棒性
写错误。 • 实现：在较长的单词中随机插入拼写错误。由于LLMs生成的错误通常不现实，因此采用规则方法来实现。 大小写转换（Lowercase Conversion）： • 目标：模拟非标准输入，评估模型在文本格式变化时的鲁棒性。 • 实现：将每个单词的所有字符转换为小写，除了第一个单词的首字母。这测试了模型在非标准输入条件下是否仍能准确提取信息。 3. 样本生成与验证 LLM生成流程： 输入原始xx...
【Python机器学习】1.8. 逻辑回归实战(基础)：建立一阶边界模型、画分类散点图、逻辑回归模型的代码实现、可视化决策边界
drop函数丢弃指定的字段，保留其它字段。这里写的是'success_or_fail'，那就丢弃它，axis=1告诉程序丢弃的是'success_or_fail'这一列而不是行。 Step 3: 训练模型 把数据喂给scikit-learn下的逻辑回归模型进行训练即可： # 训练模型 from sklearn.linear_model import LogisticRegression model =...
从零开始训练小型语言模型之minimind
文章目录 从零开始训练小型语言模型之minimind什么是minimind从小模型开始 从零开始训练小型语言模型之minimind 什么是minimind github: https://github.com/jingyaogong/minimind 目前市面上的大语言模型动辄上百亿参数，训练成本高昂。就算是自己想学习和研究，也会被巨大的硬件门槛挡在门外。而 MiniMind 通过精妙的设计，把模型...
大模型学习笔记------Llama 3模型架构之RMS Norm与激活函数SwiGLU
大模型学习笔记------Llama 3模型架构之RMS Norm与激活函数SwiGLU 1、归一化模块RMS Norm2、激活函数SwiGLU3、一些思考 上文简单介绍了 Llama 3模型架构。在以后的文章中将逐步学习并记录Llama 3模型中的各个部分。本文将首先介绍归一化模块RMS Norm与激活函数SwiGLU。 1、归一化模块RMS Norm 归一化模块是各个网络结构中必...
GET3D：从图像中学习的高质量3D纹理形状的生成模型
【摘要】 本文提出了GET3D，这是一种新的生成模型，能够生成具有任意拓扑结构的高质量3D纹理网格，可以直接被3D渲染引擎使用并在下游应用中立即使用。现有的3D生成模型要么缺乏几何细节，要么生成的网格拓扑受限，通常不支持纹理，或者在生成过程中使用神经渲染器，使得它们在常见的3D软件中难以使用。GET3D能够生成高质量的3D纹理网格，涵盖汽车、椅子、动物、摩托车和人类角色到建筑物等类别，显著优于以往方...
DeepSeek R1-32B医疗大模型的完整微调实战分析（全码版）
B│ │ └─ LoRA微调：单卡24GB│ ├── 1.2 软件依赖│ │ ├─ PyTorch 2.1.2+CUDA│ │ └─ Unsloth/ColossalAI│ └── 1.3 模型加载│ ├─ 4bit量化加载│ └─ Flash Attention2加速├── 2. 数据集构建│ ├── 2.1 数据源│ │ ├─ CMDD中文医疗对话│ │ └─ MIMIC-I...
《AI大模型专家之路》No.2：用三个模型洞察大模型NLP的基础能力
用三个模型洞察大模型NLP的基础能力 一、项目概述 在这个基于AI构建AI的思维探索项目中，我们实现了一个基于BERT的中文AI助手系统。该系统集成了文本分类、命名实体识别和知识库管理等功能，深入了解本项目可以让读者充分了解AI大模型训练和推理的基本原理，该项目使用了三个基础大模型：bert-base-chinese，ckiplab/bert-base-chinese-ner``，spacy.lan...