察元AI教程库 · 文章 · 部署

大语言模型的微服务系统

近年来大语言模型（LLMs）的进步带来了对高效系统支持的强烈需求，以提升整体服务效率。随着LLM推理向多GPU乃至多个计算节点扩展，各种协调模式，如prefill-decode解耦和上下文迁移，逐渐显现

作者:Hongyi Jin, Ruihang Lai, Charlie F. Ruan · 语言:en

前往原址学习

简介

近年来大语言模型（LLMs）的进步带来了对高效系统支持的强烈需求，以提升整体服务效率。随着LLM推理向多GPU乃至多个计算节点扩展，各种协调模式，如prefill-decode解耦和上下文迁移，逐渐显现

返回教程库 · 察元AI产品家族