察元AI教程库 · 文章 · 微调

解耦推理令牌与模板令牌以优化语言模型微调

在使用代理-任务数据集增强大型语言模型（LLMs）的代理能力时，现有方法通常将样本中的所有token同等对待。然而，我们认为不同角色的token——特别是推理token与模板token（如控制

作者:Ziang Ye, Zhenru Zhang, Yang Zhang · 语言:en

前往原址学习

简介

在使用代理-任务数据集增强大型语言模型（LLMs）的代理能力时，现有方法通常将样本中的所有token同等对待。然而，我们认为不同角色的token——特别是推理token与模板token（如控制

返回教程库 · 察元AI产品家族