察元AI教程库 · 文章 · 微调

预训练语音与语言模型的联合微调与转换，朝线性复杂度方向发展

近年来，Linformer和Mamba等架构作为Transformer的线性时间替代方案崭露头角。然而，相应的大型预训练模型通常不可用，尤其是在非文本领域。为解决此问题，我们提出了跨架构分层蒸馏（CALD

作者:Mutian He, Philip N. Garner · 语言:en

前往原址学习

简介

近年来，Linformer和Mamba等架构作为Transformer的线性时间替代方案崭露头角。然而，相应的大型预训练模型通常不可用，尤其是在非文本领域。为解决此问题，我们提出了跨架构分层蒸馏（CALD

返回教程库 · 察元AI产品家族