察元AI教程库 · 文章 · 大模型

MiniLM:用于无任务依赖的预训练Transformer压缩的深度自注意力蒸馏

预训练语言模型(如BERT(Devlin等,2018)及其变体)在各种NLP任务中取得了显著的成功。然而,这些模型通常包含数亿个参数,这给实际应用中的微调和在线服务带来了挑战

作者:Wenhui Wang, Furu Wei, Li Dong · 语言:en

前往原址学习

简介

预训练语言模型(如BERT(Devlin等,2018)及其变体)在各种NLP任务中取得了显著的成功。然而,这些模型通常包含数亿个参数,这给实际应用中的微调和在线服务带来了挑战

返回教程库 · 察元AI产品家族