察元AI教程库 · 文章 · 部署
在同时服务大量用户和请求时，大型语言模型（LLMs）服务系统需要良好的公平性。这确保系统在相同成本下能够满足更多用户的SLA（服务等级目标），例如首令牌时间（TTFT）和令牌间时间（TBT）
作者:Ao Shen, Zhiyao Li, Mingyu Gao · 语言:en
在同时服务大量用户和请求时，大型语言模型（LLMs）服务系统需要良好的公平性。这确保系统在相同成本下能够满足更多用户的SLA（服务等级目标），例如首令牌时间（TTFT）和令牌间时间（TBT）