察元AI教程库 · 文章 · 部署

通用模型路由以实现高效的大语言模型推理

模型路由是一种简单的方法，用于降低大型语言模型（LLMs）的推理成本，即维护一组候选LLM，并学习将每个提示路由到最小可行的LLM。现有工作主要集中在为固定池的LLM学习一个路由器上。本文提出

作者:Wittawat Jitkrittum, Harikrishna Narasimhan, Ankit Singh Rawat · 语言:en

前往原址学习

简介

模型路由是一种简单的方法，用于降低大型语言模型（LLMs）的推理成本，即维护一组候选LLM，并学习将每个提示路由到最小可行的LLM。现有工作主要集中在为固定池的LLM学习一个路由器上。本文提出

返回教程库 · 察元AI产品家族