察元AI教程库 · 文章 · 大模型

超越组件:基于单向量的Transformer电路可解释性

基于Transformer的语言模型表现出复杂且分布式的特性,但其内部计算仍缺乏深入理解。现有的机制可解释性方法通常将注意力头和多层感知机层(MLP)(即Transformer架构的构建模块)

作者:Areeb Ahmad, Abhinav Joshi, Ashutosh Modi · 语言:en

前往原址学习

简介

基于Transformer的语言模型表现出复杂且分布式的特性,但其内部计算仍缺乏深入理解。现有的机制可解释性方法通常将注意力头和多层感知机层(MLP)(即Transformer架构的构建模块)

返回教程库 · 察元AI产品家族