察元AI教程库 · 文章 · 大模型
基于Transformer架构的大型语言模型能够解决高度复杂的任务,但它们在基本算法问题上的根本局限性仍缺乏深入理解。在本研究中,我们专注于基础的计数任务,并研究了这些任务的难度如何随着变换器的训练规模扩展
作者:Gilad Yehudai, Haim Kaplan, Guy Dar · 语言:en
基于Transformer架构的大型语言模型能够解决高度复杂的任务,但它们在基本算法问题上的根本局限性仍缺乏深入理解。在本研究中,我们专注于基础的计数任务,并研究了这些任务的难度如何随着变换器的训练规模扩展