察元AI教程库 · 文章 · 部署

AdaSkip：用于加速长上下文大语言模型（LLM）推理的自适应子层跳过

长上下文大型语言模型（LLMs）的推理日益关键，促使大量研究致力于缓解此类场景中的巨大存储和计算成本。分层跳过方法是很有前景的优化手段，但在长上下文推理中很少被探索。

作者:Zhuomin He, Yizhen Yao, Pengfei Zuo · 语言:en

前往原址学习

简介

长上下文大型语言模型（LLMs）的推理日益关键，促使大量研究致力于缓解此类场景中的巨大存储和计算成本。分层跳过方法是很有前景的优化手段，但在长上下文推理中很少被探索。

返回教程库 · 察元AI产品家族