察元AI教程库 · 文章 · 大模型

MAPS：面向大语言模型服务的内存感知预测调度框架

大型语言模型（LLM）在个人设备上的应用激增，给云服务基础设施带来了巨大的、突发性的负载。虽然prefill-decode解耦提高了吞吐量和可扩展性，但内存受限的解码实例往往面临持续的负载不平衡，因为输出

作者:Tiancheng Zhang, Yulin Chen, Yunfeng Zhao · 语言:en

前往原址学习

简介

大型语言模型（LLM）在个人设备上的应用激增，给云服务基础设施带来了巨大的、突发性的负载。虽然prefill-decode解耦提高了吞吐量和可扩展性，但内存受限的解码实例往往面临持续的负载不平衡，因为输出

返回教程库 · 察元AI产品家族