察元AI教程库 · 文章 · 微调
基于Transformer的语言模型（LMs）在大规模文本集合上进行预训练，被证明能存储丰富的语义知识。然而，1）当作为句子编码器直接使用时效果不佳，2）因此通常在对话式预训练（例如通过响应选择）方面表现较差
作者:Ivan Vulić, Pei-Hao Su, Sam Coope · 语言:en
基于Transformer的语言模型（LMs）在大规模文本集合上进行预训练，被证明能存储丰富的语义知识。然而，1）当作为句子编码器直接使用时效果不佳，2）因此通常在对话式预训练（例如通过响应选择）方面表现较差