察元AI教程库 · 文章 · 智能体
针对大语言模型(LLM)代理的自适应推理时计算旨在仅在提升性能时才触发额外计算。现有方法通常采用基于置信度、不确定性或难度的门控机制,假设从门控信号到计算需求再到计算值的路径是固定的。然而,这种固定路径可能无法适应动态变化的环境。
作者:Ziming Li, Jiatan Huang, Xiaoguang Guo · 语言:en
针对大语言模型(LLM)代理的自适应推理时计算旨在仅在提升性能时才触发额外计算。现有方法通常采用基于置信度、不确定性或难度的门控机制,假设从门控信号到计算需求再到计算值的路径是固定的。然而,这种固定路径可能无法适应动态变化的环境。