察元AI教程库 · 文章 · 大模型

变换器中局部注意力的表达能力

Transformer是语言建模中最流行的神经架构。其核心是全局注意力机制，该机制使模型在生成下一个标记之前，能够聚合所有先前标记的信息。注意力机制的一个常见变体称为局部

作者:Jiaoda Li, Ryan Cotterell · 语言:en

前往原址学习

简介

Transformer是语言建模中最流行的神经架构。其核心是全局注意力机制，该机制使模型在生成下一个标记之前，能够聚合所有先前标记的信息。注意力机制的一个常见变体称为局部

返回教程库 · 察元AI产品家族