大语言模型的关键技术:

       经过漫长的发展,LLM 进化到了当前的状态——通用且有能力的学习者。在这个过程中,人们提出了许多重要的技术,大大提升了 LLM 的能力。在此,我们简要列举了几种重要的技术,这些技术(可能)是导致 LLM 成功的关键。

1.扩展

       Transformer 语言模型存在明显的扩展效应更大的模型/数据规模和更多的训练计算通常会导致模型能力的提升。作为两个代表性的模型,GPT-3 和 PaLM 通过增加模型规模分别达到了 1750 亿 和 5400 亿。

       此外,由于计算预算通常是有限的,可以利用扩 展法则来更高效地分配计算资源。例如,Chinchilla(具有更多的训练 token)通过在相同的计算预算下增加数据规模,优于其对应的模型 Gopher(具有更大的模型规模。然而,

        需要注意的是,数据扩展应该经过谨慎的清理过程,因为预 训练数据的质量在模型能力中起着关键作用。

2.训练

        由于巨大的模型规模,成功训练一种能力强的 LLM 是非常具有挑战性的。分布式训练算法是学习 LLM 网络参数所必需的,其中通常联合使用各种并行策略。为了支持分布式训练,已经发布了一些优化框架来促进并行算法的 实现和部署,例如 DeepSpeed 和 Megatron-LM。

       此外,优化技巧对于训练稳定性和模型性能也很重要,例如 重新开始以克服训练损失激增和混合精度训练。最近,GPT-4 提出开发特殊的基础结构和优化方法,用更小的模型来可靠地预测大模型性能。

3.能力引导

       在大规模语料库上预训练之后,LLM具备了作为通用任务求解器的潜在能力。然而,当 LLM 执行一些特定任务时,这些能力可能不会显式地展示出来。作为技术手段,设计合适的任务指令或具体的 ICL 策略可以激发这些能力。例如,通过包含中间推理步骤,CoT提示已被证明对解决复杂的推理任务有效。

        此外,我们还可以使用自然语言表达的任务描述对LLM 进行指令微调,以提高LLM 在未见任务上的泛化能力。然而,这些技术主要对应于LLM 的涌现能力,可能对小语言模型的效果不同。

4.对齐微调

       由于LLM 被训练用来捕捉预训练语料库的数据特征(包括高质量和低质量的数据),它们可能会为人类生成有毒、偏见甚至有害的内容。因此,有必要使 LLM 与人类价值观保持一致,例如有用性、诚实性和无害性。为此, InstructGPT设计了一种有效的微调方法,使 LLM 能够按照期望的指令进行操作,其中利用了基于人类反馈的强化学习技术。它将人类纳入训练循环中,采用精心设计的标注策略。ChatGPT 实际上采用类似于 InstructGPT 的技术,在产生高质量、无害的回答(例如拒绝回答侮辱性问题)方面表现出很强的对齐能力。

5.工具操作

       从本质上讲,LLM是基于海量纯文本语料库进行文本生成训练的,因此在那些不适合以文本形式表达的任务上表现不佳(例如数字计算)。此外,它们的能力也受限于预训练数据,例如无法获取最新信息。

       为了解决这些问题,最近提出了一种技术,即利用外部工具来弥补 LLM 的不足。例如,LLM 可以利用计算器进行准确计算, 利用搜索引擎检索未知信息。最近,ChatGPT已经实现 了使用外部插件(现有或新创建的应用程序)的机制,这类似于 LLM 的“眼睛和耳朵”。这种机制可以广泛扩展 LLM 的 能力范围。

       此外,许多其他因素(例如硬件升级)也对 LLM的成功做出了贡献。但是,我们主要讨论在开发 LLM 方面的主要技术方法和关键发现

11-08 12:15