察元AI教程库 · 文章 · 大模型

HMT：层级记忆Transformer用于高效长上下文语言处理

基于Transformer的大型语言模型（LLM）已被广泛应用于语言处理任务中。然而，由于设备的内存限制，大多数模型都对上下文窗口进行了限制。尽管以往的工作中使用了递归模型来记忆过去的标记以实现无限制的上下文

作者:Zifan He, Yingqi Cao, Zongyue Qin · 语言:en

前往原址学习

简介

基于Transformer的大型语言模型（LLM）已被广泛应用于语言处理任务中。然而，由于设备的内存限制，大多数模型都对上下文窗口进行了限制。尽管以往的工作中使用了递归模型来记忆过去的标记以实现无限制的上下文

返回教程库 · 察元AI产品家族