察元AI教程库 · 文章 · 部署

在类模拟计算-内存系统上，通过选择性键值缓存保护实现噪声鲁棒的LLM推理

类比计算存内（CIM）阵列已成为高效LLM推理的有前景的基底，尤其适用于线性层中的权重静态计算。然而，将类比CIM扩展到注意力机制引入了一个根本性挑战：KV缓存操作需要重复执行，而这种重复操作在传统架构中难以高效实现

作者:Yuannuo Feng, Wenyong Zhou, Yuang Ma · 语言:en

简介