察元AI教程库 · 文章 · 大模型

Transformer如何处理抽象符号进行推理？

我们研究了Transformer模型在关系推理任务中的能力。在这些任务中，模型在一组编码抽象关系的字符串上进行训练，然后在包含训练数据集未出现的符号的数据上进行分布外测试。我们证明了

作者:Enric Boix-Adsera, Omid Saremi, Emmanuel Abbe · 语言:en

简介