察元AI教程库 · 文章 · 部署
联邦推理通过分布式模型预测的加权平均来提升LLM在边缘计算中的性能。然而，自回归LLM推理需要在各个工作节点上频繁进行完整模型前向传播，严重限制了解码吞吐量。分布式部署进一步加剧了这一问题。
作者:Ce Zheng, Xinghan Wang, Jiahong Ning · 语言:en
联邦推理通过分布式模型预测的加权平均来提升LLM在边缘计算中的性能。然而，自回归LLM推理需要在各个工作节点上频繁进行完整模型前向传播，严重限制了解码吞吐量。分布式部署进一步加剧了这一问题。