察元AI教程库 · 文章 · 部署

TileMix：一种基于tile的混合精度注意力，用于加速LLM推理

大语言模型（LLMs）中的长上下文预填充会带来大量的计算和内存开销，因为密集自注意力机制需要计算二次查询-键得分。现有方法要么采用统一的低精度路径，要么选择标记交互，但缺乏对空间精度路由的硬性支持

作者:Hanzhi Zhang, Qiao Zhang, Qinglei Cao · 语言:en

前往原址学习

简介

大语言模型（LLMs）中的长上下文预填充会带来大量的计算和内存开销，因为密集自注意力机制需要计算二次查询-键得分。现有方法要么采用统一的低精度路径，要么选择标记交互，但缺乏对空间精度路由的硬性支持

返回教程库 · 察元AI产品家族