察元AI教程库 · 文章 · 微调
在有限训练数据的情况下，对大型预训练语言模型进行下游任务微调时，容易出现过拟合。尽管dropout已被证明是有效的解决方案，通过随机丢弃一部分单元，但现有研究尚未考察其对自注意力机制...
作者:Tao Yang, Jinghao Deng, Xiaojun Quan · 语言:en
在有限训练数据的情况下，对大型预训练语言模型进行下游任务微调时，容易出现过拟合。尽管dropout已被证明是有效的解决方案，通过随机丢弃一部分单元，但现有研究尚未考察其对自注意力机制...