察元AI教程库 · 文章 · 部署

HeadInfer：通过按头卸载实现的内存高效的LLM推理

基于Transformer的大语言模型（LLMs）在长上下文生成方面表现出色。扩展上下文长度使LLM在推理过程中关键-值缓存（KV缓存）的内存占用显著增加。本文提出HEADINFER，该方法将

作者:Cheng Luo, Zefan Cai, Hanshi Sun · 语言:en

前往原址学习

简介

基于Transformer的大语言模型（LLMs）在长上下文生成方面表现出色。扩展上下文长度使LLM在推理过程中关键-值缓存（KV缓存）的内存占用显著增加。本文提出HEADINFER，该方法将

返回教程库 · 察元AI产品家族