察元AI教程库 · 文章 · 大模型

通过关注结构量化嵌入来诱导Transformer的系统性

Transformer在复杂数据集上训练后,能够泛化到新结构和实体的组合,但在数据复杂度不足的数据库上容易过拟合。我们观察到,当训练集足够复杂时,模型会编码具有共同句法结构的句子

作者:Yichen Jiang, Xiang Zhou, Mohit Bansal · 语言:en

前往原址学习

简介

Transformer在复杂数据集上训练后,能够泛化到新结构和实体的组合,但在数据复杂度不足的数据库上容易过拟合。我们观察到,当训练集足够复杂时,模型会编码具有共同句法结构的句子

返回教程库 · 察元AI产品家族