一、介绍
BERT模型的出现BERT模型带来了NLP的重大进展。 BERT 的架构源自 Transformer，它在各种下游任务上取得了最先进的结果：语言建模、下一句预测、问答、NER标记等。
尽管 BERT 性能出色，研究人员仍在继续尝试其配置，希望获得更好的指标。幸运的是，他们成功了，并提出了一种名为 RoBERTa 的新模型 - 鲁棒优化的 BERT 方法。
在本文中，我们将参考官方 RoBERTa 论文，其中包含有关模型的深入信息。简而言之，RoBERTa 对原始 BERT 模型进行了多项独立改进——包括架构在内的所有其他原则保持不变。本文将介绍和解释所有的进步。
二、动态遮蔽
从 BERT 的架构中我们记得，在预训练期间，BERT 通过尝试预测一定百分比的屏蔽标记来执行语言建模。原始实现的问题在于，为不同批次的给定文本序列选择的掩码标记有时是相同的。
更准确地说，训练数据集被复制 10 次，因此每个序列仅以 10 种不同的方式进行屏蔽。请记住，BERT 运行 40 个训练周期，具有相同掩码的每个序列都会传递给 BERT 四次。研究人员发现，使用动态掩码效果稍好，这意味着每次将序列传递给 BERT 时都会唯一生成掩码。总体而言，这会减少训练期间的重复数据，从而使模型有机会处理更多不同的数据和屏蔽模式。
静态掩蔽与动态掩蔽
三、下一句预测
该论文的作者进行了研究，寻找对下一个句子预测任务进行建模的最佳方法。结果，他们发现了一些有价值的见解：
- 删除下一个句子的预测损失会带来稍微更好的性能。
- 与传递由多个句子组成的序列相比，将单个自然句子传递到 BERT 输入会损害性能。解释这种现象的最可能的假设之一是模型很难仅依靠单个句子来学习远程依赖关系。
- 通过从单个文档而不是多个文档中采样连续的句子来构造输入序列更有利 。 通常，序列始终由单个文档的连续完整句子构建，因此总长度最多为 512 个标记。当我们到达文档末尾时，问题就出现了。在这方面，研究人员比较了是否值得停止对此类序列进行句子采样，或者额外采样下一个文档的前几个句子（并在文档之间添加相应的分隔符标记）。结果表明第一种方案效果较好。
最终，对于最终的 RoBERTa 实现，作者选择保留前两个方面并省略第三个方面。尽管观察到第三个见解背后的改进，但研究人员并没有继续下去，因为否则，它会使之前的实现之间的比较更加成问题。发生这种情况的原因是，到达文档边界并停在那里意味着输入序列将包含少于 512 个标记。为了在所有批次中具有相似数量的令牌，在这种情况下需要增加批次大小。这导致批量大小可变和研究人员希望避免的更复杂的比较。
四、增加批量大小
NLP 的最新进展表明，增加批量大小并适当降低学习率和训练步骤数通常会提高模型的性能。
提醒一下，BERT 基础模型是在 256 个序列的批量大小上训练一百万步的。作者尝试在 2K 和 8K 的批量大小上训练 BERT，并选择后者来训练 RoBERTa。相应的训练步数和学习率值分别变为31K和1e-3。
五、字节文本编码
在 NLP 中，存在三种主要类型的文本标记化：
- 字符级标记化
- 子字级标记化
- 词级标记化
原始 BERT 使用词汇大小为 30K 的子字级标记化，这是在输入预处理和使用多种启发式之后学习的。 RoBERTa 使用字节而不是 unicode 字符作为子词的基础，并将词汇量扩展至 50K，无需任何预处理或输入标记化。这导致 BERT 基础模型和 BERT 大模型分别增加 15M 和 20M 的额外参数。 RoBERTa 中引入的编码版本表现出比以前稍差的结果。
尽管如此，与 BERT 相比，RoBERTa 词汇量大小的增长允许在不使用未知标记的情况下对几乎任何单词或子词进行编码。这给 RoBERTa 带来了相当大的优势，因为该模型现在可以更全面地理解包含稀有单词的复杂文本。
六、预训练
除此之外，RoBERTa 应用了上述所有四个方面，并具有与 BERT Large 相同的架构参数。 RoBERTa的参数总数为355M。
RoBERTa 在五个海量数据集的组合上进行了预训练，产生总共 160 GB 的文本数据。相比之下，BERT Large 仅在 13 GB 数据上进行预训练。最后，作者将训练步骤数从 100K 增加到 500K。
因此，在最流行的基准测试中，RoBERTa 在 XLNet Large 上的表现优于 BERT Large。
七、RoBERTa 版本
与 BERT 类似，研究人员开发了两个版本的 RoBERTa。基本版本和大版本中的大多数超参数是相同的。下图展示了主要区别：
RoBERTa 中的微调过程与 BERT 类似。
八、结论
在本文中，我们研究了 BERT 的改进版本，它通过引入以下几个方面来修改原始训练过程：
- 动态掩蔽
- 省略下一句预测目标
- 较长句子的训练
- 增加词汇量
- 使用更大批量的数据进行更长时间的训练
由此产生的 RoBERTa 模型在顶级基准测试中似乎优于其祖先。尽管配置更复杂，RoBERTa 仅添加了 15M 额外参数，保持了与 BERT 相当的推理速度。