察元AI教程库 · 文章 · 部署

从令牌到能源灵活性:基于量化的需求响应为包含LLM推理工作负载的数据中心提供支持

大型语言模型(LLMs)的高能耗已被社区所认识,但系统操作员缺乏关于如何利用异构硬件的能耗权衡来实现高效LLM推理部署的指导,因为缺乏能耗感知的基准和数据。在本研究中,我们

作者:Bojun Du, Xiaoyi Fan, Ershun Du · 语言:en

前往原址学习

简介

大型语言模型(LLMs)的高能耗已被社区所认识,但系统操作员缺乏关于如何利用异构硬件的能耗权衡来实现高效LLM推理部署的指导,因为缺乏能耗感知的基准和数据。在本研究中,我们

返回教程库 · 察元AI产品家族