察元AI教程库 · 仓库 · 部署
一套全面的工具包,用于在Amazon EKS上部署生产级生成式AI基础设施。包含预配置组件:🚀 AI网关(LiteLLM)🤖 LLM服务(vLLM、SGLang、Ollm)📊 向量数据库,🔍 嵌入模型(TEI)📈 可观测性(Langfuse、Phoenix)等。Fast-trac
作者:aws-samples · 语言:en
一套全面的工具包,用于在Amazon EKS上部署生产级生成式AI基础设施。包含预配置组件:🚀 AI网关(LiteLLM)🤖 LLM服务(vLLM、SGLang、Ollm)📊 向量数据库,🔍 嵌入模型(TEI)📈 可观测性(Langfuse、Phoenix)等。Fast-trac