察元AI教程库 · 文章 · 部署

PALUTE：通过查找表实现内存内处理加速的边缘LLM推理方法

大型语言模型越来越多地部署在边缘设备上，这些设备的功耗和面积预算非常严格。虽然混合精度GEMM减少了算术复杂度，但量化推理通常由去量化和非线性操作主导。基于查找表（LUT）的方法通过预先

作者:Runyang Tian, Yanru Chen, Weihong Xu · 语言:en

简介