察元AI教程库 · 文章 · 部署

APEX：面向受限GPU的在线LLM推理的异步并行CPU-GPU执行

在在线环境中部署大型语言模型（LLMs）进行推理通常受到GPU内存有限的限制，尤其是在自回归解码过程中KV缓存不断增长的情况下。混合GPU-CPU执行作为一种有前景的解决方案，通过将KV缓存管理和注意力计算的部分卸载到CPU来解决这一问题

作者:Jiakun Fan, Yanglin Zhang, Xiangchen Li · 语言:en

简介