察元AI教程库 · 文章 · 大模型

FiLM协调的双分支Transformer用于语言建模中的全局-局部依赖建模

标准的Transformer使用单一的自注意力路径来建模全局依赖性和局部模式，这在长程结构推理和细粒度局部表示学习之间产生了张力。我们提出了一种FiLM协调的双分支Transformer用于语言建模，其中

作者:Zhiqiang Zhou, Xu Ling, Junliang Dai · 语言:en

简介