察元AI教程库 · 文章 · 大模型

MorphPiece：大语言模型的语义分词器

分词是现代自然语言处理（NLP）流程中的关键环节。然而，当前用于大型语言模型的分词器基于对文本语料库的统计分析，而忽略了语言学特征。我提出了一种基于语言学的分词方案MorphPiece，该方案

作者:Haris Jabbar · 语言:en

前往原址学习

简介

分词是现代自然语言处理（NLP）流程中的关键环节。然而，当前用于大型语言模型的分词器基于对文本语料库的统计分析，而忽略了语言学特征。我提出了一种基于语言学的分词方案MorphPiece，该方案

返回教程库 · 察元AI产品家族