察元AI教程库 · 文章 · 部署

教程提案:用于高效LLM推理的推测解码

本教程全面介绍了推测解码(SD),一种近年来备受关注的LLM推理加速技术。SD作为一种创新的解码范式,旨在缓解由高推理延迟引发的问题。

作者:Heming Xia, Cunxiao Du, Yongqi Li · 语言:en

前往原址学习

简介

本教程全面介绍了推测解码(SD),一种近年来备受关注的LLM推理加速技术。SD作为一种创新的解码范式,旨在缓解由高推理延迟引发的问题。

返回教程库 · 察元AI产品家族