察元AI教程库 · 文章 · 部署

HybridServe:基于置信度级联路由的大型AI模型高效服务

巨型深度神经网络(DNNs)已成为支持大规模云基AI服务的准确性和鲁棒性不可或缺的组成部分。然而,从能耗角度看,服务巨型DNNs的成本极其高昂,通常超过训练成本,因为GPU集群的规模巨大

作者:Leyang Xue, Yao Fu, Luo Mai · 语言:en

前往原址学习

简介

巨型深度神经网络(DNNs)已成为支持大规模云基AI服务的准确性和鲁棒性不可或缺的组成部分。然而,从能耗角度看,服务巨型DNNs的成本极其高昂,通常超过训练成本,因为GPU集群的规模巨大

返回教程库 · 察元AI产品家族