察元AI教程库 · 文章 · 部署

通过分阶段推测解码加速LLM推理

近年来，大型语言模型（LLM）展示了其多样的能力。我们提出了一种新颖的算法——分阶段投机解码，以加速小批量、本地设备场景下的LLM推理。我们通过改进先前的方案，解决了小批量推理的算力强度低的问题

作者:Benjamin Spector, Chris Re · 语言:en

前往原址学习

简介

近年来，大型语言模型（LLM）展示了其多样的能力。我们提出了一种新颖的算法——分阶段投机解码，以加速小批量、本地设备场景下的LLM推理。我们通过改进先前的方案，解决了小批量推理的算力强度低的问题

返回教程库 · 察元AI产品家族