察元AI教程库 · 文章 · 排行榜

CharBERT：字符感知预训练语言模型

大多数预训练语言模型（PLMs）使用字节对编码（BPE）或其变体在子词级别构建词表示，从而几乎避免了OOV（词汇外）词。然而，这些方法将一个词拆分为子词单元，导致表示不完整且脆弱

作者:Wentao Ma, Yiming Cui, Chenglei Si · 语言:en

前往原址学习

简介

大多数预训练语言模型（PLMs）使用字节对编码（BPE）或其变体在子词级别构建词表示，从而几乎避免了OOV（词汇外）词。然而，这些方法将一个词拆分为子词单元，导致表示不完整且脆弱

返回教程库 · 察元AI产品家族