察元AI教程库 · 文章 · 大模型
在本研究中，我们开发并发布了Yuan 2.0，一系列参数规模从21亿到1026亿的大型语言模型。引入了基于局部过滤的注意力（LFA），将自然语言的局部依赖先验知识融入注意力机制。通过数据过滤
作者:Shaohua Wu, Xudong Zhao, Shenling Wang · 语言:en
在本研究中，我们开发并发布了Yuan 2.0，一系列参数规模从21亿到1026亿的大型语言模型。引入了基于局部过滤的注意力（LFA），将自然语言的局部依赖先验知识融入注意力机制。通过数据过滤