察元AI教程库 · 文章 · 智能体
AI代理每个任务执行数十到数百次链式LLM调用，但GPU调度器将每个调用视为独立操作，丢弃了步骤间的数十亿中间状态，导致端到端延迟增加3到8倍。我们认为，这种请求级抽象与复合任务的本质严重不匹配。
作者:Dongxin Guo, Jikun Wu, Siu Ming Yiu · 语言:en
AI代理每个任务执行数十到数百次链式LLM调用，但GPU调度器将每个调用视为独立操作，丢弃了步骤间的数十亿中间状态，导致端到端延迟增加3到8倍。我们认为，这种请求级抽象与复合任务的本质严重不匹配。