察元AI教程库 · 文章 · 部署

请求路由：为高效单GPU LLM 推理设计的请求边界路由

RequestRouter是一种轻量级的请求边界控制器，用于降低单GPU大型语言模型推理的延迟和能耗。该系统不再使用单一静态配置处理所有请求，而是利用廉价的请求级特征，为每个请求选择一个固定的推理模式

作者:Aman Sunesh, Ali Alshehhi, Hivansh Dhakne · 语言:en

简介