察元AI教程库 · 文章 · 大模型

ReTok：通过替换分词器以提升大型语言模型的表示效率

分词器是大型语言模型（LLMs）的核心组件，高压缩率的分词器可以提升模型的表示和处理效率。然而，分词器无法在所有场景中保证高压缩率，且输入和输出的平均长度增加会

作者:Shuhao Gu, Mengdi Zhao, Bowen Zhang · 语言:en

简介