察元AI教程库 · 仓库 · 部署

NanoLLM

针对LLM的优化本地推理,提供类似Hugging Face的API,支持量化、视觉/语言模型、多模态代理、语音、向量数据库以及RAG。

作者:dusty-nv · 语言:en

前往原址学习

简介

针对LLM的优化本地推理,提供类似Hugging Face的API,支持量化、视觉/语言模型、多模态代理、语音、向量数据库以及RAG。

返回教程库 · 察元AI产品家族