大白话理解大型语言模型（LLM）：预训练和微调
引言： 在人工智能的世界里，大型语言模型（LLM）已成为一种强大的工具，它们不仅能理解和生成自然语言，还能在各种复杂任务中表现出色。本文将深入探讨这些模型的两个关键阶段：预训练和微调，以及它们在实际应用中的重要性。 1. 预训练阶段：建立基础 目的与过程：预训练是大型语言模型学习的起点，其目的是让模型掌握语言的基本统计规律和通用知识。这一阶段通常在大量无标签数据上进行，如网页文本、书籍、新闻等。学习内容：...
大白话理解大语言模型预训练和微调
性训练数据的情况下，通过少量的提示（Few-Shot Learning）或者没有提示（Zero-Shot Learning）来生成合理的文本。 三、自回归与生成式：双剑合璧 自回归和生成式模型在预训练语言模型中并不冲突，而是相辅相成。在GPT这样的模型中，自回归模型首先确定下一个词的概率分布，然后生成式模型再基于这个分布生成下一个词。 四、双向自回归的进步 除了自回归，还有一种双向自回归模型，如BERT和...
【大语言模型】大型语言模型的数据收集和预处理
前言 LLM（大型语言模型）是先进的人工智能模型，使用大量文本数据进行广泛的训练。 通过这种培训，他们学习语言结构和模式，并能够执行各种与语言相关的任务，例如摘要、翻译、情感分析等。 由于LLM具有执行以前机器难以完成的自然语言任务的卓越能力，近年来LLM受到了广泛关注。然而，开发和维护这些模型的成本可能很高，需要大量的计算资源和数据进行训练。 ...
使用 LoRA 在 viggo 数据集上微调 Microsoft phi-2 小语言模型
一、说明 Microsoft 的基于 Transformer 的小语言模型。它可以根据 MIT 许可在HuggingFace上使用。 它在 96 个 A100 GPU 上使用 1.4T 令牌进行了 14 天的训练。Phi-2 是一个 27 亿个参数的预训练 Transformer，不使用 RLHF 或指示微调。它进行下一个标记预测，并可用于问答、聊天格式和代码生成中的文本...
【文本到上下文 #10】探索地平线：GPT 和 NLP 中大型语言模型的未来
一、说明 欢迎阅读我们【文本到上下文 #10】：此为最后一章。以我们之前对 BERT 和迁移学习的讨论为基础，将重点转移到更广阔的视角，包括语言模型的演变和未来，特别是生成式预训练转换器 （GPT） 及其在 NLP 中的重要作用。 在最后一章中，我们将探讨： 语言模型概述：了解它们在NLP中的作用和演变。GPT 模型：深入研究 GPT 谱系及其影响。大型语言模型 （LLM）：揭示潜力和挑战。...
大模型语言模型：从理论到实践
大模型语言模型：从理论到实践 一、资源获取链接二、概念整理定义发展历程 大模型的基本构成 一、资源获取链接 《大规模语言模型：从理论到实践》、复旦大学课件 链接/提取码：x7y6 二、概念整理 定义 大规模语言模型（Large Language Models，LLM），也称大语言模型或大型语言模型，是一种由包含数百亿以上参数的深度神经网络构建的语言模型，通常使用自监督学习方法通过大量无标注文本进行训练。...
主流大语言模型集体曝出训练数据泄露漏洞
内容概要： 安全研究人员发现，黑客可利用新的数据提取攻击方法从当今主流的大语言模型（包括开源和封闭，对齐和未对齐模型）中大规模提取训练数据。当前绝大多数大语言模型的记忆（训练数据）可被恢复，无论该模型是否进行了所谓的“对齐”。黑客可以通过查询模型来有效提取训练数据，甚至无需事先了解训练数据集。 安全研究者展示了如何从Pythia或GPT-Neo等开源语言模型、LLaMA或Falcon等主流半开放模型以及...
大型语言模型：RoBERTa — 一种稳健优化的 BERT 方法
一、介绍 BERT模型的出现BERT模型带来了NLP的重大进展。 BERT 的架构源自 Transformer，它在各种下游任务上取得了最先进的结果：语言建模、下一句预测、问答、NER标记等。 尽管 BERT 性能出色，研究人员仍在继续尝试其配置，希望获得更好的指标。幸运的是，他们成功了，并提出了一种名为 RoBERTa 的新模型 - 鲁棒优化的 BERT 方法。 ...
CogVLM与CogAgent：开源视觉语言模型的新里程碑
引言 随着机器学习的快速发展，视觉语言模型（VLM）的研究取得了显著的进步。今天，我们很高兴介绍两款强大的开源视觉语言模型：CogVLM和CogAgent。这两款模型在图像理解和多轮对话等领域表现出色，为人工智能的发展开辟了新的道路。 CogVLM：强大的开源视觉语言模型 CogVLM是一个强大的开源视觉语言模型。CogVLM-17B拥有100亿的视觉参数和70亿的语言参数，支持490*490分辨率的图像...
大型语言模型：SBERT — Sentence-BERT
一、介绍 Transformer 在 NLP 方面取得了进化进步，这已经不是什么秘密了。基于转换器，许多其他机器学习模型已经发展起来。其中之一是BERT，它主要由几个堆叠的变压器编码器组成。除了用于情感分析或问答等一系列不同的问题外，BERT在构建词嵌入（表示词的语义含义的数字向量）方面也越来越受欢迎。 以嵌入的形式表示单词具有巨大的优势，因为机器学习算法不能处理原始文本...