察元AI教程库 · 文章 · 大模型

基于Chiron的大型语言模型服务的分层自动扩展

大型语言模型（LLM）服务正逐渐成为云服务提供商越来越重要的工作负载。根据性能SLO要求，LLM推理请求可以分为两类：（a）交互式请求，其SLO要求在秒级内严格满足，以及（b）批量请求，其SLO要求较为宽松

作者:Archit Patke, Dhemath Reddy, Saurabh Jha · 语言:en

前往原址学习

简介

大型语言模型（LLM）服务正逐渐成为云服务提供商越来越重要的工作负载。根据性能SLO要求，LLM推理请求可以分为两类：（a）交互式请求，其SLO要求在秒级内严格满足，以及（b）批量请求，其SLO要求较为宽松

返回教程库 · 察元AI产品家族