察元AI教程库 · 文章 · 部署

在异构GPU云环境中，针对SLO约束的可扩展联合资源分配

在云环境中提供大型语言模型（LLM）推理服务，需要在延迟、准确性、内存和预算约束下，联合优化模型选择、GPU资源配置、并行配置以及工作负载路由。虽然混合整数线性规划（MILP）可以建模这一问题

作者:Jiaming Cheng, Duong Tung Nguyen · 语言:en

前往原址学习

简介

在云环境中提供大型语言模型（LLM）推理服务，需要在延迟、准确性、内存和预算约束下，联合优化模型选择、GPU资源配置、并行配置以及工作负载路由。虽然混合整数线性规划（MILP）可以建模这一问题

返回教程库 · 察元AI产品家族