察元AI教程库 · 文章 · 大模型
大型语言 语言模型（LLMs）主要依赖Transformer架构，其中自注意力机制提供了全局的token交互，但并未显式编码自然语言的局部性。我们研究轻量级深度卷积是否能在不显著增加模型参数的情况下提供这种局部归纳偏差。
作者:Yuchuan Tian, Yingte Shu, Wei He · 语言:en
大型语言 语言模型（LLMs）主要依赖Transformer架构，其中自注意力机制提供了全局的token交互，但并未显式编码自然语言的局部性。我们研究轻量级深度卷积是否能在不显著增加模型参数的情况下提供这种局部归纳偏差。