察元AI教程库 · 文章 · 部署

Medusa：一个简单的LLM推理加速框架，支持多种解码头

大语言模型（LLMs）采用自回归解码，需要顺序计算，每一步都依赖前一步的输出。这导致瓶颈，因为每一步都需要将完整的模型参数从高带宽内存（HBM）移动到加速器缓存中

作者:Tianle Cai, Yuhong Li, Zhengyang Geng · 语言:en

前往原址学习

简介

大语言模型（LLMs）采用自回归解码，需要顺序计算，每一步都依赖前一步的输出。这导致瓶颈，因为每一步都需要将完整的模型参数从高带宽内存（HBM）移动到加速器缓存中

返回教程库 · 察元AI产品家族