察元AI教程库 · 文章 · 大模型

鸟瞰变换器用于文本生成模型

自其在机器翻译中取得巨大成功以来，变换器已成为文本生成模型中不可或缺的模块。以往的研究将变换器的成功归因于查询-键-值点积注意力机制，该机制通过全连接的token图提供了强大的归纳偏差。

作者:Lei Sha, Yuhang Song, Yordan Yordanov · 语言:en

简介