察元AI教程库 · 文章 · 大模型

通过并行调度采样与相对位置嵌入提升Transformer在语音识别中的泛化能力

最近,Transformer在许多序列到序列的转换任务中表现出色。它利用多个前馈自注意力层来替代基于递归神经网络(RNN)的注意力编码器-解码器(AED)架构。自注意力层学习时间依赖关系

作者:Pan Zhou, Ruchao Fan, Wei Chen · 语言:en

前往原址学习

简介

最近,Transformer在许多序列到序列的转换任务中表现出色。它利用多个前馈自注意力层来替代基于递归神经网络(RNN)的注意力编码器-解码器(AED)架构。自注意力层学习时间依赖关系

返回教程库 · 察元AI产品家族