《AI大模型专家之路》No.2:用三个模型洞察大模型NLP的基础能力
用三个模型洞察大模型NLP的基础能力 一、项目概述 在这个基于AI构建AI的思维探索项目中,我们实现了一个基于BERT的中文AI助手系统。该系统集成了文本分类、命名实体识别和知识库管理等功能,深入了解本项目可以让读者充分了解AI大模型训练和推理的基本原理,该项目使用了三个基础大模型:bert-base-chinese,ckiplab/bert-base-chinese-ner``,spacy.lan...
DeepSeek R1-32B医疗大模型的完整微调实战分析(全码版)
B│ │ └─ LoRA微调:单卡24GB│ ├── 1.2 软件依赖│ │ ├─ PyTorch 2.1.2+CUDA│ │ └─ Unsloth/ColossalAI│ └── 1.3 模型加载│ ├─ 4bit量化加载│ └─ Flash Attention2加速├── 2. 数据集构建│ ├── 2.1 数据源│ │ ├─ CMDD中文医疗对话│ │ └─ MIMIC-I...
GET3D:从图像中学习的高质量3D纹理形状的生成模型
【摘要】 本文提出了GET3D,这是一种新的生成模型,能够生成具有任意拓扑结构的高质量3D纹理网格,可以直接被3D渲染引擎使用并在下游应用中立即使用。现有的3D生成模型要么缺乏几何细节,要么生成的网格拓扑受限,通常不支持纹理,或者在生成过程中使用神经渲染器,使得它们在常见的3D软件中难以使用。GET3D能够生成高质量的3D纹理网格,涵盖汽车、椅子、动物、摩托车和人类角色到建筑物等类别,显著优于以往方...
大模型学习笔记------Llama 3模型架构之RMS Norm与激活函数SwiGLU
大模型学习笔记------Llama 3模型架构之RMS Norm与激活函数SwiGLU 1、归一化模块RMS Norm2、激活函数SwiGLU3、一些思考 上文简单介绍了 Llama 3模型架构。在以后的文章中将逐步学习并记录Llama 3模型中的各个部分。本文将首先介绍归一化模块RMS Norm与激活函数SwiGLU。 1、归一化模块RMS Norm 归一化模块是各个网络结构中必...
从零开始训练小型语言模型之minimind
文章目录 从零开始训练小型语言模型之minimind什么是minimind从小模型开始 从零开始训练小型语言模型之minimind 什么是minimind github: https://github.com/jingyaogong/minimind 目前市面上的大语言模型动辄上百亿参数,训练成本高昂。就算是自己想学习和研究,也会被巨大的硬件门槛挡在门外。而 MiniMind 通过精妙的设计,把模型...
【Python机器学习】1.8. 逻辑回归实战(基础):建立一阶边界模型、画分类散点图、逻辑回归模型的代码实现、可视化决策边界
drop函数丢弃指定的字段,保留其它字段。这里写的是'success_or_fail',那就丢弃它,axis=1告诉程序丢弃的是'success_or_fail'这一列而不是行。 Step 3: 训练模型 把数据喂给scikit-learn下的逻辑回归模型进行训练即可: # 训练模型 from sklearn.linear_model import LogisticRegression model =...
数据增强术:如何利用大模型(LLMs)来模拟不同的扰动类型以增强信息提取任务的鲁棒性
写错误。 • 实现:在较长的单词中随机插入拼写错误。由于LLMs生成的错误通常不现实,因此采用规则方法来实现。 大小写转换(Lowercase Conversion): • 目标:模拟非标准输入,评估模型在文本格式变化时的鲁棒性。 • 实现:将每个单词的所有字符转换为小写,除了第一个单词的首字母。这测试了模型在非标准输入条件下是否仍能准确提取信息。 3. 样本生成与验证 LLM生成流程: 输入原始xx...
【三.大模型实战应用篇】【2.智能学员辅导系统:与大模型的深度交互】
早上七点半,初三学生小林打开数学辅导APP,发现AI老师准确指出了他昨晚作业中三次跳步计算的坏习惯——这比他亲妈观察得还细致。这背后是一场发生在代码深处的"脑力风暴",让我们潜入智能辅导系统与大模型深度交互的"暗室",看看那些让教育产生化学反应的代码魔法。 一、从问答机到"灵魂伴侣"的进化之路 1.1 传统问答系统的"智障"现场 某教育平台后台数据显示: 52%的追问请求是因为"答非所问" 学生平均...
【大模型】大模型推理能力深度剖析:从通用模型到专业优化
大模型推理能力深度剖析:从通用模型到专业优化 大模型推理能力深度剖析:从通用模型到专业优化一、通用语言模型与推理模型的区别(一)通用语言模型:多任务的“万金油”(二)推理模型:复杂任务的“专家” 二、DeepSeek 系列模型的推理能力对比(一)模型架构(二)训练方法(三)推理能力(四)性能表现 三、推理模型的应用场景(一)数学建模与教育(二)代码生成与优化(三)复杂逻辑推理 四、推理模型的部署优势...
字节火山引擎-大模型声音复刻,流式语音合成接口
字节火山引擎-大模型声音复刻,流式语音合成接口 参考文档:火山引擎-大模型声音复刻文档 官网给出的示例代码有bug,这里已经修改了 创建应用 声音复刻大模型页面查看应用,获取接口调用需要的参数 注意调用tts接口时候需要三个参数: APP ID => 获取到对应的应用Access Token => 鉴权需要声音ID => 语音合成需要 Http流式合成音频接口示例代码 package main im...