察元AI教程库 · 文章 · 部署

通过不确定性与重要性感知的推测解码实现高效的无线LLM推理

为应对资源受限环境中对本地LLM推理日益增长的需求，混合语言模型（HLM）应运而生，结合了轻量级的本地模型与强大的云端LLM。近期关于HLM的研究主要集中在提升准确性和延迟方面，但往往忽略了

作者:Jihoon Park, Seungeun Oh, Seong-Lyun Kim · 语言:en

简介