察元AI教程库 · 文章 · 大模型

注意力池化：评估预训练Transformer嵌入在欺骗分类中的表现

本文研究了虚假新闻检测作为Transformer表示的下游评估，通过基准测试编码器-only和解码器-only预训练模型（BERT、GPT-2、Transformer-XL）作为冻结嵌入器，配以轻量级分类器。通过受控的预处理比较池化

作者:Sumit Mamtani, Abhijeet Bhure · 语言:en

前往原址学习

简介

本文研究了虚假新闻检测作为Transformer表示的下游评估，通过基准测试编码器-only和解码器-only预训练模型（BERT、GPT-2、Transformer-XL）作为冻结嵌入器，配以轻量级分类器。通过受控的预处理比较池化

返回教程库 · 察元AI产品家族