察元AI教程库 · 文章 · 大模型

Transformer前馈层通过在词汇空间中促进概念来构建预测

基于变换器的语言模型（LMs）是现代自然语言处理的核心，但其内部的预测构建过程是不透明且不甚了解的。在本研究中，我们通过逆向工程变换器操作过程，迈出了一大步，揭示了这一潜在的预测过程

作者:Mor Geva, Avi Caciularu, Kevin Ro Wang · 语言:en

简介