察元AI教程库 · 文章 · 大模型

ALTA：基于编译器的变换器分析

我们提出了一种名为ALTA的新编程语言，以及一个可以将ALTA程序映射到Transformer权重的编译器。ALTA受到Weiss等人（2021）提出的RASP语言和Lindner等人（2023）提出的从RASP程序到Transformer权重的Tracr编译器的启发。ALTA补充并扩展了

作者:Peter Shaw, James Cohan, Jacob Eisenstein · 语言:en

简介