察元AI教程库 · 文章 · 大模型
基于Transformer的语言模型表现出复杂且分布式的特性,但其内部计算仍缺乏深入理解。现有的机制可解释性方法通常将注意力头和多层感知机层(MLP)(即Transformer架构的构建模块)
作者:Areeb Ahmad, Abhinav Joshi, Ashutosh Modi · 语言:en
基于Transformer的语言模型表现出复杂且分布式的特性,但其内部计算仍缺乏深入理解。现有的机制可解释性方法通常将注意力头和多层感知机层(MLP)(即Transformer架构的构建模块)