察元AI教程库 · 文章 · 大模型

双元子网络：在变换器语言模型中映射到下一个词元

在Transformer语言模型中，激活向量从当前词嵌入转换为下一个词预测。为了隔离这种转换的最小形式，我们识别出语言模型子网络，这些子网络进行双词预测，朴素的下一个词预测基

作者:Tyler A. Chang, Benjamin K. Bergen · 语言:en

简介