察元AI教程库 · 文章 · 部署

通过优化样本计算分配来扩展LLM推理

采样是大语言模型（LLMs）推理过程中许多算法的基本操作。为了在有限的计算资源下高效扩展推理，关键在于找到最优的采样计算预算分配：我们应该如何分配采样配置（模型、温度、语言等）？

作者:Kexun Zhang, Shang Zhou, Danqing Wang · 语言:en

前往原址学习

简介

采样是大语言模型（LLMs）推理过程中许多算法的基本操作。为了在有限的计算资源下高效扩展推理，关键在于找到最优的采样计算预算分配：我们应该如何分配采样配置（模型、温度、语言等）？

返回教程库 · 察元AI产品家族