察元AI教程库 · 文章 · 大模型

大型语言模型几何信息

本文研究了大型语言模型（LLMs）嵌入中所编码的信息。我们进行了模拟分析，发现表示熵与模型规模之间存在幂律关系。基于这一观察，我们提出了一种基于（条件）熵的理论

作者:Zhiquan Tan, Chenghai Li, Weiran Huang · 语言:en

前往原址学习

简介

本文研究了大型语言模型（LLMs）嵌入中所编码的信息。我们进行了模拟分析，发现表示熵与模型规模之间存在幂律关系。基于这一观察，我们提出了一种基于（条件）熵的理论

返回教程库 · 察元AI产品家族