察元AI教程库 · 文章 · 大模型

通过不同初始化合并文本Transformer模型

基于排列的模型合并最近的研究显示，来自完全不同的初始化的模型之间存在令人印象深刻的低或零障碍模式连接性。然而，这项工作尚未扩展到Transformer架构，尽管它在语言领域占据了主导地位。

作者:Neha Verma, Maha Elbayad · 语言:en

简介