察元AI教程库 · 文章 · 部署

在GB级最后一级缓存中实现驻留的LLM推理

大型语言语言模型（LLM）推理越来越依赖于内存层次间的大量数据移动。最近的3D堆叠缓存技术使现代服务器CPU能够实现GB级的最后层级缓存，使得可复用的模型权重可以保留在芯片上，并利用缓存带宽和l

作者:Wanning Zhang, Tongzhou Gu, Marco Canini · 语言:en

简介