察元AI教程库 · 文章 · 大模型

RelayAttention：用于长系统提示的高效大语言模型服务

一个实用的大型语言模型（LLM）服务可能涉及一个长系统提示，该提示指定了任务的指令、示例和知识文档，并在多个请求中重复使用。然而，长系统提示导致吞吐量/延迟瓶颈，因为生成下一个token的开销

作者:Lei Zhu, Xinjiang Wang, Wayne Zhang · 语言:en

前往原址学习

简介

一个实用的大型语言模型（LLM）服务可能涉及一个长系统提示，该提示指定了任务的指令、示例和知识文档，并在多个请求中重复使用。然而，长系统提示导致吞吐量/延迟瓶颈，因为生成下一个token的开销

返回教程库 · 察元AI产品家族