察元AI教程库 · 文章 · 部署

PROTEUS：通过拉格朗日强化学习实现SLA感知的多大语言模型服务系统路由

生产环境中的LLM部署服务于多样化的负载，其中成本和质量要求会因客户层级、时间以及查询的紧急程度而有所不同。模型服务系统直接接受延迟SLO。LLM路由器则不然。它们迫使操作员在离线时调整参数，并猜测准确性可能会如何

作者:Amit Singh Bhatti, Vishal Vaddina, Dagnachew Birru · 语言:en

简介