察元AI教程库 · 文章 · 部署
推测解码（SD）已被证明能将自回归解码（AD）的延迟降低2-3倍，适用于小批量场景。然而，为了提高吞吐量并降低每标记成本，需要使用大批次进行解码。最近的研究表明，SD可以利用大批次加速解码
作者:Sanjit Neelam, Daniel Heinlein, Vaclav Cvicek · 语言:en
推测解码（SD）已被证明能将自回归解码（AD）的延迟降低2-3倍，适用于小批量场景。然而，为了提高吞吐量并降低每标记成本，需要使用大批次进行解码。最近的研究表明，SD可以利用大批次加速解码