察元AI教程库 · 文章 · 大模型

PRISM：通过最大编码率减少，将白盒Transformer作为信号-噪声分解算子推导出来

深度学习模型，特别是变换器，常被批评是“黑箱”，缺乏可解释性。我们提出了Prism，一种基于最大化编码率减少（MCR²）原理的白盒注意力架构。通过将注意力机制建模为一个梯度

作者:Dongchen Huang · 语言:en

简介