察元AI教程库 · 文章 · 部署

Cronus：基于部分解耦预填充的异构GPU集群高效LLM推理

高效的LLM推理对现实应用至关重要，尤其是在组织和本地数据中心中常见的异构GPU集群中，随着GPU架构的快速演进，这一点尤为突出。当前的分阶段预填充策略，将LLM的预填充和解码阶段分开，但

作者:Yunzhao Liu, Qiang Xu, Y. Charlie Hu · 语言:en

简介