察元AI教程库 · 文章 · 大模型

BERT Busters：破坏Transformer的异常维度

多项研究显示，Transformer模型在剪枝方面表现出惊人的鲁棒性。然而，与这一普遍认知相反，我们证明了预训练的Transformer编码器对层输出中少量特征的移除（小于0.0001%的模型权重）异常脆弱。在特定情况下，

作者:Olga Kovaleva, Saurabh Kulshreshtha, Anna Rogers · 语言:en

前往原址学习

简介

多项研究显示，Transformer模型在剪枝方面表现出惊人的鲁棒性。然而，与这一普遍认知相反，我们证明了预训练的Transformer编码器对层输出中少量特征的移除（小于0.0001%的模型权重）异常脆弱。在特定情况下，

返回教程库 · 察元AI产品家族