察元AI教程库 · 文章 · 大模型

算术采样：大语言模型的并行多样化解码

大型语言模型的解码方法通常在输出多样性与计算并行性之间进行权衡。像束搜索和Gumbel top-k采样这样的方法可以保证每个束元素的输出不同，但难以并行化。相比之下，像

作者:Luke Vilnis, Yury Zemlyanskiy, Patrick Murray · 语言:en

前往原址学习

简介

大型语言模型的解码方法通常在输出多样性与计算并行性之间进行权衡。像束搜索和Gumbel top-k采样这样的方法可以保证每个束元素的输出不同，但难以并行化。相比之下，像

返回教程库 · 察元AI产品家族