察元AI教程库 · 文章 · 部署

CoRun：为确定性LLM推理提供简单且高效的填充方法

尽管采样参数和随机种子固定，大语言模型（LL ）推理仍表现出输出不一致性，这破坏了下游任务如模型评估和强化学习。这种非确定性的一个主要来源是批处理依赖的GPU执行：动态输入形状导致的执行差异。

作者:Shiju Zhao, Jiacheng Yang, Qihang Chen · 语言:en

简介