察元AI教程库 · 文章 · 知识库

面向移动设备的检索增强生成的轻量级片段选择

RAG通过引入外部知识提升了LLM的事实基础，但在移动和边缘设备上部署RAG仍具挑战性，因为检索到的上下文会增加计算和内存开销。一种直接减少这些成本的方法是只保留一个检索到的片段再进行生成，但

作者:Sicong Chang, Yidan Shen, Wen Yu · 语言:en

简介