察元AI教程库 · 文章 · 大模型

偏见在变换器语言模型注意力头中是否存在？分析变换器中注意力头的偏见

基于Transformer的大型预训练语言模型（PLM）如BERT和GPT在NLP任务中取得了显著成功。然而，这些模型容易编码典型偏见。尽管已有大量关于在PLM中缓解典型偏见的研究，例如关于去偏性别

作者:Yi Yang, Hanyu Duan, Ahmed Abbasi · 语言:en

简介