察元AI教程库 · 文章 · 部署

T-MAC：通过表查找实现边缘低比特LLM部署的CPU复兴

在边缘设备上部署大型语言模型（LLMs）越来越重要，以增强本地智能。权重量化对于减少LLMs在设备上的内存占用至关重要。然而，低比特LLMs需要混合精度矩阵乘法（mpGEMM）的低精度预训练

作者:Jianyu Wei, Shijie Cao, Ting Cao · 语言:en

前往原址学习

简介

在边缘设备上部署大型语言模型（LLMs）越来越重要，以增强本地智能。权重量化对于减少LLMs在设备上的内存占用至关重要。然而，低比特LLMs需要混合精度矩阵乘法（mpGEMM）的低精度预训练

返回教程库 · 察元AI产品家族