察元AI教程库 · 文章 · 部署

室友：面向高效模型服务的干扰感知共置

随着对深度神经网络（DNN）推理需求的增长，GPU容量日益饱和，迫使运营商在云端和边缘部署中将多个模型部署在同一设备上。这种共置是否成功或违反SLOs，取决于同时执行的多个模型的内核在时间上的重叠

作者:Youssouph Faye, Francescomaria Faticanti, Shubham Jain · 语言:en

简介