察元AI教程库 · 文章 · 大模型

利用统计与近似理论分析变换器神经网络在本质上低维数据上的扩展规律

在训练深度神经网络时,模型的泛化误差通常被观察到遵循一个依赖于模型大小和数据大小的幂律缩放规律。其中最著名的例子是基于Transformer的大型语言模型,其中拥有数十亿参数的网络表现出

作者:Alex Havrilla, Wenjing Liao · 语言:en

前往原址学习

简介

在训练深度神经网络时,模型的泛化误差通常被观察到遵循一个依赖于模型大小和数据大小的幂律缩放规律。其中最著名的例子是基于Transformer的大型语言模型,其中拥有数十亿参数的网络表现出

返回教程库 · 察元AI产品家族