察元AI教程库 · 文章 · 部署

基于SLO的GPU频率缩放以实现高效LLM推理服务的节能

随着大语言模型（LLMs）的普及，其对耗电严重的GPU的依赖导致能源需求持续上升，引发环境和经济方面的担忧。推理是LLM工作负载中的主要部分，这对提供商而言是一个关键挑战：在服务级别目标下最小化能源成本

作者:Andreas Kosmas Kakolyris, Dimosthenis Masouros, Petros Vavaroutsos · 语言:en

简介