察元AI教程库 · 文章 · 大模型
自回归神经序列模型在文本生成任务中已被证明是有效的。然而,它们的从左到右的解码顺序阻止了生成过程的并行化。插入式Transformer(Stern等,2019)是一种有吸引力的替代方案,允许输出多个标记。
作者:Zhisong Zhang, Yizhe Zhang, Bill Dolan · 语言:en
自回归神经序列模型在文本生成任务中已被证明是有效的。然而,它们的从左到右的解码顺序阻止了生成过程的并行化。插入式Transformer(Stern等,2019)是一种有吸引力的替代方案,允许输出多个标记。