察元AI教程库 · 文章 · 部署

面向语义路由器的工具选择：无需LLM推理的延迟约束学习

在LLM推理网关中，语义路由器选择工具，这些工具位于关键请求路径中，每个毫秒的延迟都会在数百万个请求中累积。我们提出了结果感知的工具选择（OATS），该方法将工具嵌入向查询历史中心点进行插值，从而

作者:Huamin Chen, Xunzhuo Liu, Junchen Jiang · 语言:en

简介