察元AI教程库 · 文章 · 微调

HypeLoRA：基于超网络生成的LoRA适配器，用于校准的语言模型微调

基于Transformer的现代模型经常出现校准偏差，产生过度自信的预测，这些预测并不反映真实的经验频率。本文研究了LoRA：低秩适应以及一种基于超网络的适应框架的校准动态，该框架在参数效率方面具有优势

作者:Bartosz Trojan, Filip Gębala · 语言:en

简介