察元AI教程库 · 文章 · 大模型
最近的字级语言模型(LMs)在不依赖子词词汇的情况下,其性能与基于标记的模型相当,但其实用性受限于缓慢的逐字自回归生成。我们通过新的训练和生成方法,在字潜变换器(BLT)中解决了这一瓶颈
作者:Julie Kallini, Artidoro Pagnoni, Tomasz Limisiewicz · 语言:en
最近的字级语言模型(LMs)在不依赖子词词汇的情况下,其性能与基于标记的模型相当,但其实用性受限于缓慢的逐字自回归生成。我们通过新的训练和生成方法,在字潜变换器(BLT)中解决了这一瓶颈