察元AI教程库 · 文章 · 部署

XC-Cache:通过跨注意力缓存上下文实现高效的大型语言模型推理

上下文学习(ICL)方法通常通过提示来将解码器-only语言模型的生成过程与参考信息关联。由于上下文的即时处理存在自注意力操作的二次成本,因此缓存是理想选择。然而,缓存

作者:João Monteiro, Étienne Marcotte, Pierre-André Noël · 语言:en

前往原址学习

简介

上下文学习(ICL)方法通常通过提示来将解码器-only语言模型的生成过程与参考信息关联。由于上下文的即时处理存在自注意力操作的二次成本,因此缓存是理想选择。然而,缓存

返回教程库 · 察元AI产品家族