察元AI教程库 · 文章 · 部署

通过异步KV缓存预取提升LLM推理吞吐量

大型语言模型（LLMs）在推理过程中表现出明显的内存瓶颈特性，这是由于高带宽内存（HBM）带宽限制所致。本文提出了一种面向L2缓存的异步KV缓存预取方法，以突破LLM推理中的内存带宽瓶颈

作者:Yanhao Dong, Yubo Miao, Weinan Li · 语言:en

前往原址学习

简介

大型语言模型（LLMs）在推理过程中表现出明显的内存瓶颈特性，这是由于高带宽内存（HBM）带宽限制所致。本文提出了一种面向L2缓存的异步KV缓存预取方法，以突破LLM推理中的内存带宽瓶颈

返回教程库 · 察元AI产品家族