察元AI教程库 · 文章 · 大模型

句法树是否有助于预训练的Transformer提取信息？

最近的研究表明，将依存树中的句法信息融入到特定任务的Transformer模型中可以提升模型性能。然而，将依存树信息融入到预训练的Transformer模型（如BERT）中的效果仍不明确，尤其是在最近的研究高亮了

作者:Devendra Singh Sachan, Yuhao Zhang, Peng Qi · 语言:en

简介