察元AI教程库 · 文章 · 提示词
小型语言模型中的思维链(CoT)推理是一个具有挑战性的自然语言处理问题,但在许多实际应用中极具价值。现有的CoT知识蒸馏方法在小型LLMs中往往存在过度保守的记忆问题,导致泛化能力低
作者:Maxwell J. Yin, Dingyi Jiang, Yongbing Chen · 语言:en
小型语言模型中的思维链(CoT)推理是一个具有挑战性的自然语言处理问题,但在许多实际应用中极具价值。现有的CoT知识蒸馏方法在小型LLMs中往往存在过度保守的记忆问题,导致泛化能力低