《AI大模型专家之路》No.2：用三个模型洞察大模型NLP的基础能力
用三个模型洞察大模型NLP的基础能力 一、项目概述 在这个基于AI构建AI的思维探索项目中，我们实现了一个基于BERT的中文AI助手系统。该系统集成了文本分类、命名实体识别和知识库管理等功能，深入了解本项目可以让读者充分了解AI大模型训练和推理的基本原理，该项目使用了三个基础大模型：bert-base-chinese，ckiplab/bert-base-chinese-ner``，spacy.lan...
DeepSeek R1-32B医疗大模型的完整微调实战分析（全码版）
B│ │ └─ LoRA微调：单卡24GB│ ├── 1.2 软件依赖│ │ ├─ PyTorch 2.1.2+CUDA│ │ └─ Unsloth/ColossalAI│ └── 1.3 模型加载│ ├─ 4bit量化加载│ └─ Flash Attention2加速├── 2. 数据集构建│ ├── 2.1 数据源│ │ ├─ CMDD中文医疗对话│ │ └─ MIMIC-I...
GET3D：从图像中学习的高质量3D纹理形状的生成模型
【摘要】 本文提出了GET3D，这是一种新的生成模型，能够生成具有任意拓扑结构的高质量3D纹理网格，可以直接被3D渲染引擎使用并在下游应用中立即使用。现有的3D生成模型要么缺乏几何细节，要么生成的网格拓扑受限，通常不支持纹理，或者在生成过程中使用神经渲染器，使得它们在常见的3D软件中难以使用。GET3D能够生成高质量的3D纹理网格，涵盖汽车、椅子、动物、摩托车和人类角色到建筑物等类别，显著优于以往方...
大模型学习笔记------Llama 3模型架构之RMS Norm与激活函数SwiGLU
大模型学习笔记------Llama 3模型架构之RMS Norm与激活函数SwiGLU 1、归一化模块RMS Norm2、激活函数SwiGLU3、一些思考 上文简单介绍了 Llama 3模型架构。在以后的文章中将逐步学习并记录Llama 3模型中的各个部分。本文将首先介绍归一化模块RMS Norm与激活函数SwiGLU。 1、归一化模块RMS Norm 归一化模块是各个网络结构中必...
从零开始训练小型语言模型之minimind
文章目录 从零开始训练小型语言模型之minimind什么是minimind从小模型开始 从零开始训练小型语言模型之minimind 什么是minimind github: https://github.com/jingyaogong/minimind 目前市面上的大语言模型动辄上百亿参数，训练成本高昂。就算是自己想学习和研究，也会被巨大的硬件门槛挡在门外。而 MiniMind 通过精妙的设计，把模型...
【Python机器学习】1.8. 逻辑回归实战(基础)：建立一阶边界模型、画分类散点图、逻辑回归模型的代码实现、可视化决策边界
drop函数丢弃指定的字段，保留其它字段。这里写的是'success_or_fail'，那就丢弃它，axis=1告诉程序丢弃的是'success_or_fail'这一列而不是行。 Step 3: 训练模型 把数据喂给scikit-learn下的逻辑回归模型进行训练即可： # 训练模型 from sklearn.linear_model import LogisticRegression model =...
数据增强术：如何利用大模型（LLMs）来模拟不同的扰动类型以增强信息提取任务的鲁棒性
写错误。 • 实现：在较长的单词中随机插入拼写错误。由于LLMs生成的错误通常不现实，因此采用规则方法来实现。 大小写转换（Lowercase Conversion）： • 目标：模拟非标准输入，评估模型在文本格式变化时的鲁棒性。 • 实现：将每个单词的所有字符转换为小写，除了第一个单词的首字母。这测试了模型在非标准输入条件下是否仍能准确提取信息。 3. 样本生成与验证 LLM生成流程： 输入原始xx...
【三.大模型实战应用篇】【2.智能学员辅导系统：与大模型的深度交互】
早上七点半，初三学生小林打开数学辅导APP，发现AI老师准确指出了他昨晚作业中三次跳步计算的坏习惯——这比他亲妈观察得还细致。这背后是一场发生在代码深处的"脑力风暴"，让我们潜入智能辅导系统与大模型深度交互的"暗室"，看看那些让教育产生化学反应的代码魔法。 一、从问答机到"灵魂伴侣"的进化之路 1.1 传统问答系统的"智障"现场 某教育平台后台数据显示： 52%的追问请求是因为"答非所问" 学生平均...
【大模型】大模型推理能力深度剖析：从通用模型到专业优化
大模型推理能力深度剖析：从通用模型到专业优化 大模型推理能力深度剖析：从通用模型到专业优化一、通用语言模型与推理模型的区别（一）通用语言模型：多任务的“万金油”（二）推理模型：复杂任务的“专家” 二、DeepSeek 系列模型的推理能力对比（一）模型架构（二）训练方法（三）推理能力（四）性能表现 三、推理模型的应用场景（一）数学建模与教育（二）代码生成与优化（三）复杂逻辑推理 四、推理模型的部署优势...
字节火山引擎-大模型声音复刻，流式语音合成接口
字节火山引擎-大模型声音复刻，流式语音合成接口 参考文档：火山引擎-大模型声音复刻文档 官网给出的示例代码有bug，这里已经修改了 创建应用 声音复刻大模型页面查看应用，获取接口调用需要的参数 注意调用tts接口时候需要三个参数： APP ID => 获取到对应的应用Access Token => 鉴权需要声音ID => 语音合成需要 Http流式合成音频接口示例代码 package main im...