察元AI教程库 · 文章 · 部署

词汇定制化用于高效部署领域特定的LLM

当使用LLM处理训练域之外的文本时，一个常被忽视的因素是词汇不匹配，即通用领域分词器无法捕捉到特定领域的高频术语，导致token丰富度增加，从而因子词不匹配而降低处理速度

作者:Christian Herold, Michael Kozielski, Nicholas Santavas · 语言:en

简介