察元AI教程库 · 文章 · 大模型

通过矩阵乘积算子分解压缩变换器语言模型：以PicoGPT为例的案例研究

基于Transformer的语言模型在自然语言处理任务中表现优异，但其隐藏维度的二次参数扩展使得在资源受限的硬件上部署成本高昂。我们研究了矩阵乘积算子（MPO）分解作为一种原则性的压缩方法，用于Transformer

作者:Younes Javanmard, Tanmoy Pandit, Masoud Mardani · 语言:en

简介