察元AI教程库 · 文章 · 部署

重新审视解耦大型语言模型服务的性能与能耗影响

与传统将预填充和解码阶段都部署在同一个GPU上的大型语言模型（LLM）服务不同，解耦服务将不同的GPU专门用于预填充和解码工作负载。一旦预填充GPU完成任务，KV缓存必须转移到解码GPU。然而

作者:Jiaxi Li, Yue Zhu, Eun Kyung Lee · 语言:en

前往原址学习

简介

与传统将预填充和解码阶段都部署在同一个GPU上的大型语言模型（LLM）服务不同，解耦服务将不同的GPU专门用于预填充和解码工作负载。一旦预填充GPU完成任务，KV缓存必须转移到解码GPU。然而

返回教程库 · 察元AI产品家族