察元AI教程库 · 文章 · 部署

在预测不确定性下的自适应稳健LLM推理优化

我们研究了优化大型语言模型（LLM）推理调度以最小化总延迟的问题。LLM推理是一个在线且多任务的服务流程，其能耗极高，由预训练的LLM处理输入请求并按顺序生成输出token。因此

作者:Zixi Chen, Yinyu Ye, Zijie Zhou · 语言:en

前往原址学习

简介

我们研究了优化大型语言模型（LLM）推理调度以最小化总延迟的问题。LLM推理是一个在线且多任务的服务流程，其能耗极高，由预训练的LLM处理输入请求并按顺序生成输出token。因此

返回教程库 · 察元AI产品家族