察元AI教程库 · 文章 · 部署

基于全局模拟指导的多租户模型服务动态操作调度

容器粒度的调度使得容器内大量短生命周期的空闲片段未被充分利用。重新分配容器的开销过大，无法在SLA约束下利用这些细粒度机会，而操作者级别的调度需要考虑依赖关系、内存安全等问题

作者:Weinan Liu, Zeyuan Ding, Dian Ding · 语言:en

简介