察元AI教程库 · 文章 · 部署

DynamoLLM：为性能和能效设计LLM推理集群

生成式大型语言模型（LLMs）的快速发展和广泛应用使其成为各种应用中的关键工作负载。如今，LLM推理集群每天接收大量具有严格服务等级目标（SLOs）的查询。为了实现所需性能，这些模型

作者:Jovan Stojkovic, Chaojie Zhang, Íñigo Goiri · 语言:en

简介