察元AI教程库 · 文章 · 大模型

Shatter：一种高效的单头自注意力和相对序列分区的Transformer编码器

基于自注意力的广受欢迎的变换器架构，是像BERT这样的大型预训练模型的基础，已成为自然语言处理中的持久范式。尽管强大，但预训练这些模型所需的计算资源和时间可能过于昂贵。在本研究中，我们

作者:Ran Tian, Joshua Maynez, Ankur P. Parikh · 语言:en

简介