察元AI教程库 · 文章 · 智能体
如今,基于Transformer的大型语言模型(LLM)用于代码生成任务时,通常会应用采样和过滤流程。由于代码生成任务中单个标记错误导致的稀疏奖励问题,基于Transformer的模型会采样冗余程序,直到找到一个正确的
作者:Yuyang Chen, Kaiyan Zhao, Yiming Wang · 语言:en
如今,基于Transformer的大型语言模型(LLM)用于代码生成任务时,通常会应用采样和过滤流程。由于代码生成任务中单个标记错误导致的稀疏奖励问题,基于Transformer的模型会采样冗余程序,直到找到一个正确的