察元AI教程库 · 文章 · 大模型

通过熵分析探究Transformer架构中的信息分布

本研究探索了熵分析作为探查Transformer架构内部信息分布的工具。通过量化token级别的不确定性，并在处理的不同阶段检查熵模式，我们旨在研究信息如何被管理和转换

作者:Amedeo Buonanno, Alessandro Rivetti, Francesco A. N. Palmieri · 语言:en

简介