察元AI教程库 · 文章 · 大模型

大型语言模型中的能量浪费

我们将最终的大型语言模型（LLM）softmax分类器重新解释为一种基于能量的模型（EBM），在推理过程中将序列到序列的概率链分解为多个相互作用的EBM。这种原则性的方法使我们能够追踪“能量溢出”，我们通过实验

作者:Adrian Robert Minut, Hazem Dewidar, Iacopo Masi · 语言:en

前往原址学习

简介

我们将最终的大型语言模型（LLM）softmax分类器重新解释为一种基于能量的模型（EBM），在推理过程中将序列到序列的概率链分解为多个相互作用的EBM。这种原则性的方法使我们能够追踪“能量溢出”，我们通过实验

返回教程库 · 察元AI产品家族