察元AI教程库 · 文章 · 大模型

稀疏增长变换器:通过渐进注意力循环实现训练时的稀疏深度分配

现有方法通过参数重用、递归执行来增加Transformer的有效深度,主要依赖于参数复用,通过递归执行扩展计算。在该范式下,网络结构在训练过程中保持静态,且额外的计算深度被均匀分配

作者:Yao Chen, Yilong Chen, Yinqi Yang · 语言:en

前往原址学习

简介

现有方法通过参数重用、递归执行来增加Transformer的有效深度,主要依赖于参数复用,通过递归执行扩展计算。在该范式下,网络结构在训练过程中保持静态,且额外的计算深度被均匀分配

返回教程库 · 察元AI产品家族