察元AI教程库 · 文章 · 大模型

通过跨层注意力减少Transformer键值缓存大小

键值（KV）缓存在加速基于Transformer的自回归大型语言模型（LLMs）的解码过程中起着关键作用。然而，为了存储KV缓存所需的内存量在长序列长度和大批次大小时可能会变得不可行。自从Transformer的发明以来

作者:William Brandon, Mayank Mishra, Aniruddha Nrusimha · 语言:en

前往原址学习

简介

键值（KV）缓存在加速基于Transformer的自回归大型语言模型（LLMs）的解码过程中起着关键作用。然而，为了存储KV缓存所需的内存量在长序列长度和大批次大小时可能会变得不可行。自从Transformer的发明以来

返回教程库 · 察元AI产品家族