察元AI教程库 · 文章 · 大模型

CITER：一种基于协作推理的高效大型语言模型解码方法，结合令牌级路由

大型语言模型在各种任务中取得了显著成功，但在推理过程中存在高昂的计算成本，限制了其在资源受限的应用中的部署。为解决这一问题，我们提出了一种新颖的基于令牌级路由的协作推理（CITER）框架

作者:Wenhao Zheng, Yixiao Chen, Weitong Zhang · 语言:en

简介