察元AI教程库 · 文章 · 大模型

CodeBPE：关于大型语言模型源代码预训练中子token化选项的探究

近年来，大量研究采用了大型语言模型（LLMs）的预训练方法来处理源代码，提出了源代码特定的预训练目标，并研究了各种基于Transformer的语言模型架构在源代码中的适用性。本文探讨了源代码相关的一个重要方面

作者:Nadezhda Chirkova, Sergey Troshin · 语言:en

前往原址学习

简介

近年来，大量研究采用了大型语言模型（LLMs）的预训练方法来处理源代码，提出了源代码特定的预训练目标，并研究了各种基于Transformer的语言模型架构在源代码中的适用性。本文探讨了源代码相关的一个重要方面

返回教程库 · 察元AI产品家族