察元AI教程库 · 文章 · 部署

Apt-Serve：基于混合缓存的自适应请求调度以实现可扩展的大型语言模型推理服务

大型语言模型（LLM）推理服务系统对于各种基于LLM的应用至关重要。随着对LLM服务需求的持续增长，将这些系统扩展以处理高请求率，同时满足延迟服务级别目标（SLOs），即有效吞吐量，变得越来越关键

作者:Shihong Gao, Xin Zhang, Yanyan Shen · 语言:en

前往原址学习

简介

大型语言模型（LLM）推理服务系统对于各种基于LLM的应用至关重要。随着对LLM服务需求的持续增长，将这些系统扩展以处理高请求率，同时满足延迟服务级别目标（SLOs），即有效吞吐量，变得越来越关键

返回教程库 · 察元AI产品家族