察元AI教程库 · 文章 · 大模型
标准的神经机器翻译解码器以自回归方式每时间步生成一个目标标记,这尤其在长输出情况下会减缓推理过程。尽管在训练时,像Transformer这样的架构实现了解码器计算的完全并行,但推理过程仍然
作者:Nader Akoury, Kalpesh Krishna, Mohit Iyyer · 语言:en
标准的神经机器翻译解码器以自回归方式每时间步生成一个目标标记,这尤其在长输出情况下会减缓推理过程。尽管在训练时,像Transformer这样的架构实现了解码器计算的完全并行,但推理过程仍然