察元AI教程库 · 文章 · 部署

GAR：通过约束优化实现的碳感知路由，用于LLM推理

随着大型语言模型（LLMs）的日益部署，按请求路由变得至关重要，以在异构模型池中平衡响应质量和计算成本。然而，当前的路由方法很少将可持续能源使用和二氧化碳排放作为优化目标，尽管电网

作者:Disha Sheshanarayana, Rajat Subhra Pal, Manjira Sinha · 语言:en

前往原址学习

简介

随着大型语言模型（LLMs）的日益部署，按请求路由变得至关重要，以在异构模型池中平衡响应质量和计算成本。然而，当前的路由方法很少将可持续能源使用和二氧化碳排放作为优化目标，尽管电网

返回教程库 · 察元AI产品家族