察元AI教程库 · 文章 · 大模型

用于Transformer的变分自编码器及其非参数变分信息瓶颈

我们提出了一种用于变换器的变分自编码器，通过为变换器嵌入开发一种变分信息瓶颈正则化器。我们将变换器编码器的嵌入空间形式化为混合概率分布，并利用贝叶斯非参数方法推导出非参数变分信息

作者:James Henderson, Fabio Fehr · 语言:en

简介