察元AI教程库 · 文章 · 大模型

GMAT：用于Transformer的全局记忆增强

基于Transformer的模型由于其强大的容量、固有的并行性和高性能，已成为自然语言处理中的普遍工具。Transformer块中的上下文化组件是\textit{成对点积}注意力，其内存需求高达$Ω(L^2)$

作者:Ankit Gupta, Jonathan Berant · 语言:en

前往原址学习

简介

基于Transformer的模型由于其强大的容量、固有的并行性和高性能，已成为自然语言处理中的普遍工具。Transformer块中的上下文化组件是\textit{成对点积}注意力，其内存需求高达$Ω(L^2)$

返回教程库 · 察元AI产品家族