察元AI教程库 · 文章 · 大模型

SpecInfer：基于树形推测推理与验证的生成式大型语言模型服务加速

本文介绍了SpecInfer，一个利用基于树的推测推理和验证来加速生成式大型语言模型（LLM）服务的系统。SpecInfer的核心思想是利用小型推测模型来预测LLM的输出；这些预测被组织为一个token

作者:Xupeng Miao, Gabriele Oliaro, Zhihao Zhang · 语言:en

简介