察元AI教程库 · 文章 · 知识库

揭开奇迹：探究检索增强生成中的注意力蒸馏

检索增强生成框架可以通过实时更新知识来解决大型语言模型的局限性，从而提供更准确的回答。在检索增强模型的训练阶段，一种高效的方法是注意力蒸馏，它利用注意力分数作为监督信号

作者:Zizhong Li, Haopeng Zhang, Jiawei Zhang · 语言:en

简介