察元AI教程库 · 文章 · 大模型

Weights to Code:从离散Transformer中提取可解释的算法

算法提取旨在直接从在算法任务上训练的模型中合成可执行程序,从而实现从权重中无依赖于人类编写的可执行程序,恢复出可执行机制。然而,将此范式应用于Transformer时,由于表示机制的复杂性,应用起来变得非常困难。

作者:Yifan Zhang, Wei Bi, Kechi Zhang · 语言:en

前往原址学习

简介

算法提取旨在直接从在算法任务上训练的模型中合成可执行程序,从而实现从权重中无依赖于人类编写的可执行程序,恢复出可执行机制。然而,将此范式应用于Transformer时,由于表示机制的复杂性,应用起来变得非常困难。

返回教程库 · 察元AI产品家族