察元AI教程库 · 文章 · 部署

AGFT:一种自适应GPU频率调节器,用于实时LLM推理优化

交互式大型语言模型(LLMs)的爆炸式增长对云GPU的低延迟提出了前所未有的要求,迫使它们进入高功耗模式,导致能耗不断上升。实时推理工作负载表现出显著的动态波动,带来了巨大的能源

作者:Zicong Ye, Kunming Zhang, Guoming Tang · 语言:en

前往原址学习

简介

交互式大型语言模型(LLMs)的爆炸式增长对云GPU的低延迟提出了前所未有的要求,迫使它们进入高功耗模式,导致能耗不断上升。实时推理工作负载表现出显著的动态波动,带来了巨大的能源

返回教程库 · 察元AI产品家族