察元AI教程库 · 文章 · 部署

一种用于大规模LLM推理的光子-CXL内存设备，用于可扩展的键值缓存管理

大规模LLM推理面临内存墙问题。KV缓存需要数十太字节，每秒数百太字节，但目前的内存层级无法同时满足这些需求。通过对不同LLaMA模型的多代GPU系统进行表征，显示主机内存检索可达到100倍的峰值

作者:Jing Ding, Yash Nishant, Chandrish Ambati · 语言:en

简介