察元AI教程库 · 文章 · 大模型

Segatron：一种具有段落感知能力的Transformer，用于语言建模和理解

Transformer在序列建模方面表现出色。几乎所有最先进的语言模型和预训练语言模型都基于Transformer架构。然而，它仅通过token位置索引来区分序列中的token。我们假设更好的上下文表示

作者:He Bai, Peng Shi, Jimmy Lin · 语言:en

简介