察元AI教程库 · 文章 · 大模型

大型语言模型中的逐头可共享注意力

大型语言模型（LL ）由于参数数量巨大，限制了其在边缘设备上的部署。权重共享是一种有希望的解决方案，它鼓励权重重用，有效减少内存使用，同时性能下降较少。然而，当前的权重共享技术主要

作者:Zouying Cao, Yifei Yang, Hai Zhao · 语言:en

简介