察元AI教程库 · 文章 · 微调
我们定义Tiny Language Models（TLMs）为参数量低于约30亿、可容纳在主流消费设备上的模型。我们研究了如何将这些小模型适应并用于可验证的多选任务。我们比较了三种基于LoRA的微调范式（标签生成、仅黄金标准、以及我们提出的判别式
作者:Bhavesh Sood, Jaromir Savelka · 语言:en
我们定义Tiny Language Models（TLMs）为参数量低于约30亿、可容纳在主流消费设备上的模型。我们研究了如何将这些小模型适应并用于可验证的多选任务。我们比较了三种基于LoRA的微调范式（标签生成、仅黄金标准、以及我们提出的判别式