察元AI教程库 · 文章 · 部署

Signed Rescue Routing：基于有害性感知的级联优化，用于高效的LLM推理

大语言模型（LLM）级联系统通过小型模型处理简单请求，并将选定的请求提升到大型模型处理。大多数路由器优先处理小型模型表现不确定或可能错误的示例。这种代理忽略了一个关键事实：只有当大型模型被提升时，才真正有用

作者:Zheyuan Wang, Siyu Li, Peiqiao Song · 语言:en

简介