察元AI教程库 · 文章 · 大模型

稀疏通用Transformer

通用变换器（UT）是变换器的一个变体，其层间共享参数。实证研究表明，UT在形式语言任务中表现出比普通变换器（VT）更好的组合泛化能力。参数共享也使其具有更好的参数效率

作者:Shawn Tan, Yikang Shen, Zhenfang Chen · 语言:en

前往原址学习

简介

通用变换器（UT）是变换器的一个变体，其层间共享参数。实证研究表明，UT在形式语言任务中表现出比普通变换器（VT）更好的组合泛化能力。参数共享也使其具有更好的参数效率

返回教程库 · 察元AI产品家族