察元AI教程库 · 文章 · 大模型
基于Transformer的大型语言模型（LLMs）在边缘设备上处理长序列时面临挑战，因为注意力机制的二次复杂度以及Key-Value（KV）缓存带来的内存需求增长。现有的KV缓存优化方法在不可逆的token移除方面存在困难。
作者:Jiyu Chen, Shuang Peng, Daxiong Luo · 语言:en
基于Transformer的大型语言模型（LLMs）在边缘设备上处理长序列时面临挑战，因为注意力机制的二次复杂度以及Key-Value（KV）缓存带来的内存需求增长。现有的KV缓存优化方法在不可逆的token移除方面存在困难。