察元AI教程库 · 文章 · 部署

AcceLLM：利用冗余实现负载均衡和数据本地性的LLM推理加速

在大规模系统上进行大型语言模型（LLM）推理预计将成为未来云基础设施的核心。在包含众多AI加速器的云环境中实现高效的LLM推理极具挑战，需要进行大量优化以实现最佳性能。当前系统通常批量处理预填充

作者:Ilias Bournias, Lukas Cavigelli, Georgios Zacharopoulos · 语言:en

简介