察元AI教程库 · 文章 · 大模型

基于预训练Transformer的Transformer用于神经文本分段,增强主题连贯性

本文提出了一种“变换器之上再用变换器”的框架,称为Transformer$^2$,用于神经文本分段。该框架包含两个部分:底层使用预训练变换器的句子编码器,以及基于句子嵌入的上层变换器分段模型

作者:Kelvin Lo, Yuan Jin, Weicong Tan · 语言:en

前往原址学习

简介

本文提出了一种“变换器之上再用变换器”的框架,称为Transformer$^2$,用于神经文本分段。该框架包含两个部分:底层使用预训练变换器的句子编码器,以及基于句子嵌入的上层变换器分段模型

返回教程库 · 察元AI产品家族