察元AI教程库 · 文章 · 微调

探究微调后语言模型中补语和填充表达的表示

在对话中，背通道和填充词是重要的语言表达，但在现代基于Transformer的语言模型（LMs）中，它们常被视为“噪声”而被忽略。我们研究了它们在LMs中的表示方式，通过在三个对话语料库上使用三种微调策略进行分析

作者:Yu Wang, Leyi Lao, Langchu Huang · 语言:en

简介