【自然语言处理】【ChatGPT系列】WebGPT:基于人类反馈的浏览器辅助问答

论文地址:https://arxiv.org/pdf/2112.09332.pdf 一、简介 ​ NLP \text{NLP} NLP中一个日益严峻的挑战是 long-form question-answering(LFQA) \text{long-form question-answering(LFQA)} long-form question-answering(LFQA),其需要一个很长的答案来回答开放域的...

【自然语言处理】【ChatGPT系列】ChatGPT的智能来自哪里?

​ ChatGPT \text{ChatGPT} ChatGPT火了!作为开放域对话系统, ChatGPT \text{ChatGPT} ChatGPT展示出了出乎意料的智能。在人们惊讶 ChatGPT \text{ChatGPT} ChatGPT效果的同时,其"胡编乱造"的结果也让人担忧。 ​ ChatGPT \text{ChatGPT} ChatGPT到底"只是"一个闲聊系统,还是意味着新的变革?如果只从使用...

【自然语言处理】【ChatGPT系列】Chain of Thought:从大模型中引导出推理能力

论文地址:https://arxiv.org/pdf/2201.11903.pdf 一、简介 ​ 语言模型为自然语言处理带来了革命,而扩大语言模型规模可以提高下游任务效果、样本效率等一系列的好处。然而,单纯扩大语言模型的尺寸并不能够使算术、常识和符号推理获得更好的表现。文本尝试使用简单的方法来解锁大规模语言模型的推理能力,该方法主要来自于两个想法:(1) 算术推理能够从自然语言论据中受益,从而得到最终的答案。先前...

【自然语言处理】【ChatGPT系列】InstructGPT:遵循人类反馈指令来训练语言模型

论文地址:https://arxiv.org/pdf/2203.02155.pdf 一、简介 ​ 使语言模型更大并不能使其更好的遵循人类的指令。例如,大语言模型能够为用户生成不诚实、有毒性或者简单没什么帮助的输出。换句话说,这些没有并没有与用户对齐。本文展示了一种将语言模型对齐至用户意图的方法,其通过人类反馈在广泛的任务上进行微调。开始于一组标注者撰写的 prompts \text{prompts} prompt...

【自然语言处理】【ChatGPT系列】大模型的涌现能力

论文地址:https://arxiv.org/pdf/2206.07682.pdf 一、简介 ​ 语言模型已经彻底改变了自然语言处理 (NLP) \text{(NLP)} (NLP)。总所周知,增加语言模型的规模能够为一系列下游的 NLP \text{NLP} NLP任务带来更好的效果和样本效率。在某些场景中,模型规模对于模型的效果可以通过 scaling laws \text{scaling laws} sca...
© 2023 LMLPHP 关于我们 联系我们 友情链接 耗时0.039593(s)
2023-02-06 08:35:32 1675643732