察元AI教程库 · 文章 · 大模型

在变分自编码器中微调预训练的变换器

文本变分自编码器(VAE)以后验坍塌现象而闻名,即模型的解码器会学习忽略来自编码器的信号。由于后验坍塌现象会因表达能力强的解码器而加剧,因此Transformer在作为文本VAE组件时采用有限

作者:Seongmin Park, Jihwa Lee · 语言:en

前往原址学习

简介

文本变分自编码器(VAE)以后验坍塌现象而闻名,即模型的解码器会学习忽略来自编码器的信号。由于后验坍塌现象会因表达能力强的解码器而加剧,因此Transformer在作为文本VAE组件时采用有限

返回教程库 · 察元AI产品家族