察元AI教程库 · 文章 · 微调

基于矩阵乘积算子的预训练语言模型压缩的轻量级微调

本文提出了一种基于量子多体物理中矩阵乘积算子（简称MPO）的新型预训练语言模型（PLM）压缩方法。该方法可以将原始矩阵分解为中心张量（包含核心信息）和辅助张量（仅包含少量参数）。

作者:Peiyu Liu, Ze-Feng Gao, Wayne Xin Zhao · 语言:en

简介