察元AI教程库 · 文章 · 大模型

Transformer语言模型可以使用哪些上下文特征？

基于Transformer的语言模型受益于对数百到数千个先前标记上下文的条件化。这些上下文中的哪些方面对模型预测的准确性有贡献？我们描述了一系列实验，通过选择性地消去词汇和结构信息来测量可用信息

作者:Joe O'Connor, Jacob Andreas · 语言:en

简介