察元AI教程库 · 文章 · 部署

Round Attention：一种新型轮级注意力机制，用于加速LLM推理

大型语言模型（LLMs）中上下文窗口尺寸的增加提升了其处理复杂长文本任务的能力。然而，随着对话轮次的增加，需要在GPU内存中存储大量KV缓存，这显著影响了效率，甚至影响可用性。

作者:Yaohua Tang, Zhicheng Hu, Kun Cheng · 语言:en

前往原址学习

简介

大型语言模型（LLMs）中上下文窗口尺寸的增加提升了其处理复杂长文本任务的能力。然而，随着对话轮次的增加，需要在GPU内存中存储大量KV缓存，这显著影响了效率，甚至影响可用性。

返回教程库 · 察元AI产品家族