察元AI教程库 · 文章 · 大模型

关于偏置Transformer注意力向单调性的研究

自然语言处理中的许多序列到序列任务在源序列和目标序列之间的对齐上大致呈单调性，以往的工作通过专门的注意力函数或预训练来促进或强制学习单调的注意力行为。在本研究中，我们引入

作者:Annette Rios, Chantal Amrhein, Noëmi Aepli · 语言:en

简介