察元AI教程库 · 文章 · 部署

Vidur：一个大规模LLM推理模拟框架

优化大型语言模型（LLMs）的部署成本高昂，因为需要在LLM实现上实验性地运行应用程序工作负载，同时探索由系统调优参数（如并行策略、批处理技术等）构成的庞大配置空间。

作者:Amey Agrawal, Nitin Kedia, Jayashree Mohan · 语言:en

前往原址学习

简介

优化大型语言模型（LLMs）的部署成本高昂，因为需要在LLM实现上实验性地运行应用程序工作负载，同时探索由系统调优参数（如并行策略、批处理技术等）构成的庞大配置空间。

返回教程库 · 察元AI产品家族