察元AI教程库 · 文章 · 部署

通过动态键值（KV）缓存放置加速异构内存系统中的LLM推理

大型语言模型（LLM）推理越来越受到内存带宽的限制，频繁访问键值（KV）缓存主导了数据传输。尽管注意力稀疏减少了部分内存流量，但过去token的相关性随时间变化，需要保持完整的KV缓存

作者:Yunhua Fang, Rui Xie, Asad Ul Haq · 语言:en

前往原址学习

简介

大型语言模型（LLM）推理越来越受到内存带宽的限制，频繁访问键值（KV）缓存主导了数据传输。尽管注意力稀疏减少了部分内存流量，但过去token的相关性随时间变化，需要保持完整的KV缓存

返回教程库 · 察元AI产品家族