【第3章：卷积神经网络（CNN）——3.8 迁移学习与微调策略】
迁移学习示意图 一、灵魂拷问：为什么你的CNN总在重复造轮子？ 当你试图用500张狗狗照片训练一个世界级分类器时，是不是觉得就像让小学生直接攻读量子物理一样力不从心？这时，迁移学习的魔法就显现了。想象一下，如果能把ImageNet冠军模型变成你的专属AI助手，哪怕你的训练数据只够塞满一个U盘，那该有多爽！接下来，我们就来揭秘这背后的奥秘。 二、知识搬运的艺术：迁移学习全景观 2.1 预训练模型博物馆...
大语言模型常用微调与基于SFT微调DeepSeek R1指南
概述 大型语言模型（LLM，Large Language Model）的微调（Fine-tuning）是指在一个预训练模型的基础上，使用特定领域或任务的数据对模型进行进一步训练，以使其在该领域或任务上表现更好。微调是迁移学习的一种常见方法，能够显著提升模型在特定任务上的性能。在大型语言模型（LLM）的微调中，有几种常见的方法，包括 SFT（监督微调）、LoRA（低秩适应）、P-tuning v2 和...
大模型微调｜使用LoRA微调Qwen2.5-7B-Instruct完成文本分类任务
目录 模型选取数据集代码实现一些 Debug 模型选取 计算资源：可供使用的显卡是H800（显存80G），因此选取 Qwen-2.5-7B-Instruct + LoRA 的方式进行微调，batch size 为32时，实际使用显存约为72G.（可以通过降低 batch size 的方式降低显存，batch size=8时，显存占用约42G。） 数据集 三个csv文件，分别为训练集、验证集和测试集；...
【NLP高频面题 - 高效微调篇】什么是提示微调？
【NLP高频面题 - 高效微调篇】什么是提示微调？ 重要性：★ NLP Github 项目： NLP 项目实践：fasterai/nlp-project-practice 介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化、部署和应用，分享大模型算法工程师的日常工作和实战经验 AI 藏经阁：https://gitee.com/fasterai/ai-e-book 介绍：该仓库主要分享了数百本 A...
【NLP高频面题 - LLM训练篇】为什么要对LLM做有监督微调（SFT）？
有监督微调（Supervised Finetuning, SFT）又称指令微调（Instruction Tuning），是指在已经训练好的语言模型的基础上，通过使用有标注的特定任务数据进行进一步的微调，从而使得模型具备遵循指令的能力。 经过指令微调后，大语言模型能够展现出较强的指令遵循能力，可以通过零样本学习的方式解决多种下游任务。 SFT阶段会重点关心的内容： 指令数据如何构造如何高效低成本地进行...
在CFFF云平台使用llama-factory部署及微调Qwen2.5-7B-Instruct
文章目录 在CFFF云平台使用llama-factory部署及微调Qwen2.5-7B-Instruct1. 部署1. 创建实例2. 安装环境3. 下载模型4. 部署和推理 2. 微调1. 数据集准备2. 设置微调参数并进行训练3. 推理 在CFFF云平台使用llama-factory部署及微调Qwen2.5-7B-Instruct 1. 部署 1. 创建实例 24GB的显存基本可以满足7B模型的部...
重要性分层：让大型语言模型的微调更高效
在自然语言处理（NLP）领域，随着大型语言模型（LLMs）的不断发展，参数高效微调（PEFT）方法成为了适应这些模型的热门选择。然而，许多现有的PEFT方法在微调过程中采用均匀的架构设计，忽视了层与层之间的重要性差异，从而导致微调效果不理想。正如一位厨师在烹饪时，如果不根据食材的特点调整火候，那么即使是顶级食材也难以做出美味的菜肴。本文提出了一种新颖的方法——重要性感知稀疏微调（IST），旨在充分利...
Faster R-CNN模型微调检测航拍图像中的小物体
、分辨率高、小目标密集且物体尺寸较小的特点，因此检测难度较大。传统的目标检测模型在处理小物体时，容易受到物体尺寸、分辨率及背景复杂度的影响而出现漏检或误检。本项目通过对Faster R-CNN模型进行微调（Fine-Tuning），提升其在小物体检测任务中的性能。具体地，我们基于预训练的ResNet或MobileNet等主干网络，对模型的各层参数进行适当冻结，并结合数据增强、图像切片（Patch Ge...
浅谈人工智能之基于LLaMA-Factory进行Qwen2微调：医疗大模型
浅谈人工智能之基于LLaMA-Factory进行Qwen2微调：医疗大模型 引言 近年来，大规模预训练语言模型（如LLaMA）在自然语言处理任务中取得了显著的成功。LLaMA-Factory是一个针对LLaMA模型的微调工具，旨在简化和优化模型微调的过程。本文将详细探讨如何使用LLaMA-Factory对Llama3进行微调，以解决特定的下游任务。 LLaMA-Factory简介 LLaMA-Fac...
浅谈人工智能之基于LLaMA-Factory进行Llama3微调
浅谈人工智能之基于LLaMA-Factory进行Llama3微调 引言 近年来，大规模预训练语言模型（如LLaMA）在自然语言处理任务中取得了显著的成功。LLaMA-Factory是一个针对LLaMA模型的微调工具，旨在简化和优化模型微调的过程。本文将详细探讨如何使用LLaMA-Factory对Llama3进行微调，以解决特定的下游任务。 LLaMA-Factory简介 LLaMA-Factory是...