察元AI教程库 · 文章 · 部署

LLM推理中的分层令牌剪枝的自适应层选择

由于大型语言模型（LLMs）的普及，K-V缓存的减少在LLM推理中受到了广泛关注。近年来提出的众多工作中，层间token剪枝方法，即在特定层选择一组token以保留

作者:Rei Taniguchi, Yuyang Dong, Makoto Onizuka · 语言:en

前往原址学习

简介

由于大型语言模型（LLMs）的普及，K-V缓存的减少在LLM推理中受到了广泛关注。近年来提出的众多工作中，层间token剪枝方法，即在特定层选择一组token以保留

返回教程库 · 察元AI产品家族