察元AI教程库 · 文章 · 大模型

当Transformer能数到n吗?

基于Transformer架构的大型语言模型能够解决高度复杂的任务,但它们在基本算法问题上的根本局限性仍缺乏深入理解。在本研究中,我们专注于基础的计数任务,并研究了这些任务的难度如何随着变换器的训练规模扩展

作者:Gilad Yehudai, Haim Kaplan, Guy Dar · 语言:en

前往原址学习

简介

基于Transformer架构的大型语言模型能够解决高度复杂的任务,但它们在基本算法问题上的根本局限性仍缺乏深入理解。在本研究中,我们专注于基础的计数任务,并研究了这些任务的难度如何随着变换器的训练规模扩展

返回教程库 · 察元AI产品家族