察元AI教程库 · 文章 · 大模型

记忆注意力融合:基于外部语言模型集成的基于Transformer的序列到序列模型

本文提出了一种新颖的融合方法,将外部语言模型(LM)集成到基于Transformer的序列到序列(seq2seq)模型中。虽然seq2seq模型需要成对数据进行训练,但外部LM可以仅使用非成对数据进行训练。因此,其重要性

作者:Mana Ihori, Ryo Masumura, Naoki Makishima · 语言:en

前往原址学习

简介

本文提出了一种新颖的融合方法,将外部语言模型(LM)集成到基于Transformer的序列到序列(seq2seq)模型中。虽然seq2seq模型需要成对数据进行训练,但外部LM可以仅使用非成对数据进行训练。因此,其重要性

返回教程库 · 察元AI产品家族