察元AI教程库 · 仓库 · 部署

olla

面向LLM基础设施的高性能轻量级代理和负载均衡器,支持智能路由、自动故障转移以及本地和远程推理后端的统一模型发现

作者:thushan · 语言:en

前往原址学习

简介

面向LLM基础设施的高性能轻量级代理和负载均衡器,支持智能路由、自动故障转移以及本地和远程推理后端的统一模型发现

返回教程库 · 察元AI产品家族