察元AI教程库 · 文章 · 部署

处理无法调度的任务：在大规模场景下控制黑箱LLM推理

当输出token数量在提交时可以预测（Gan等，2026年）时，客户端针对黑盒LLM API的调度变得半预见性：决策基于粗粒度的token先验，尽管服务提供商的内部机制仍然隐藏。我们将这一边界问题分解为三个部分

作者:Renzhong Yuan, Yijun Zeng, Xiaosong Gao · 语言:en

前往原址学习

简介

当输出token数量在提交时可以预测（Gan等，2026年）时，客户端针对黑盒LLM API的调度变得半预见性：决策基于粗粒度的token先验，尽管服务提供商的内部机制仍然隐藏。我们将这一边界问题分解为三个部分

返回教程库 · 察元AI产品家族