察元AI教程库 · 文章 · 部署

GLIDE：用于高效LLM推理的引导分层混合注意力

随着大型语言模型（LLMs）支持越来越长的上下文，解码过程中键值（KV）缓存的内存I/O和计算开销成为主要的吞吐瓶颈。为此，我们提出了GLIDE，一种引导的分层混合注意力，通过战略性地整合滑动

作者:Vimal William, Ravi Tandon, Jyotikrishna Dass · 语言:en

前往原址学习

简介

随着大型语言模型（LLMs）支持越来越长的上下文，解码过程中键值（KV）缓存的内存I/O和计算开销成为主要的吞吐瓶颈。为此，我们提出了GLIDE，一种引导的分层混合注意力，通过战略性地整合滑动

返回教程库 · 察元AI产品家族