察元AI教程库 · 文章 · 大模型

快速字节潜在Transformer

最近的字级语言模型(LMs)在不依赖子词词汇的情况下,其性能与基于标记的模型相当,但其实用性受限于缓慢的逐字自回归生成。我们通过新的训练和生成方法,在字潜变换器(BLT)中解决了这一瓶颈

作者:Julie Kallini, Artidoro Pagnoni, Tomasz Limisiewicz · 语言:en

前往原址学习

简介

最近的字级语言模型(LMs)在不依赖子词词汇的情况下,其性能与基于标记的模型相当,但其实用性受限于缓慢的逐字自回归生成。我们通过新的训练和生成方法,在字潜变换器(BLT)中解决了这一瓶颈

返回教程库 · 察元AI产品家族