察元AI教程库 · 文章 · 智能体

基于记忆的推测：为LLM代理提供无损耗加速

推测执行通过使用较小、更便宜的模型来预测并提前启动下一步，从而加速LLM智能体，当环境空闲时。然而，现有的推测器是无状态的，它们在任务之间丢弃所有信息，无法通过经验提升预测质量。我们提出

作者:Yu Li, Qinyuan Ye, Prafulla Kumar Choubey · 语言:en

简介