察元AI教程库 · 文章 · 大模型
现有的基于软件的自然语言处理(NLP)模型能耗测量并不准确,因为它们没有考虑能耗与模型执行之间的复杂交互。我们提出了IrEne,一个可解释且可扩展的能耗预测系统,能够准确预测推理能耗
作者:Qingqing Cao, Yash Kumar Lal, Harsh Trivedi · 语言:en
现有的基于软件的自然语言处理(NLP)模型能耗测量并不准确,因为它们没有考虑能耗与模型执行之间的复杂交互。我们提出了IrEne,一个可解释且可扩展的能耗预测系统,能够准确预测推理能耗