察元AI教程库 · 文章 · 大模型

更高效的插入式Transformer:结合分数位置编码

自回归神经序列模型在文本生成任务中已被证明是有效的。然而,它们的从左到右的解码顺序阻止了生成过程的并行化。插入式Transformer(Stern等,2019)是一种有吸引力的替代方案,允许输出多个标记。

作者:Zhisong Zhang, Yizhe Zhang, Bill Dolan · 语言:en

前往原址学习

简介

自回归神经序列模型在文本生成任务中已被证明是有效的。然而,它们的从左到右的解码顺序阻止了生成过程的并行化。插入式Transformer(Stern等,2019)是一种有吸引力的替代方案,允许输出多个标记。

返回教程库 · 察元AI产品家族