察元AI教程库 · 文章 · 大模型

Transformer的通信图

Transformer的各个组件通过写入和读取一个共享的残差流进行通信，而机制可解释性通过手动逐电路映射这些连接。我们提出了通信图，它绘制了语言模型中每一个潜在通信通道

作者:Richard Zhe Wang · 语言:en

前往原址学习

简介

Transformer的各个组件通过写入和读取一个共享的残差流进行通信，而机制可解释性通过手动逐电路映射这些连接。我们提出了通信图，它绘制了语言模型中每一个潜在通信通道

返回教程库 · 察元AI产品家族