察元AI教程库 · 文章 · 大模型

Transformer的可解释性能否转移到RNN上？

近年来，递归神经网络架构（如Mamba和RWKV）的进步使得RNNs在语言建模的困惑度和下游评估中，性能可以达到或超过同等规模的Transformer，这表明未来的系统可能基于全新的架构

作者:Gonçalo Paulo, Thomas Marshall, Nora Belrose · 语言:en

前往原址学习

简介

近年来，递归神经网络架构（如Mamba和RWKV）的进步使得RNNs在语言建模的困惑度和下游评估中，性能可以达到或超过同等规模的Transformer，这表明未来的系统可能基于全新的架构

返回教程库 · 察元AI产品家族