察元AI教程库 · 文章 · 部署

SLIM：一种用于边缘稀疏大型语言模型推理的异构加速器，采用自适应阈值技术

大语言模型（LLMs）在理解和生成人类语言方面表现出卓越能力，但在资源受限的嵌入式设备上进行高效推理仍面临挑战，因为模型规模大且前馈网络（FFN）和多头注意力机制中的内存密集型操作导致了这一问题

作者:Weihong Xu, Haein Choi, Po-kai Hsu · 语言:en

前往原址学习

简介

大语言模型（LLMs）在理解和生成人类语言方面表现出卓越能力，但在资源受限的嵌入式设备上进行高效推理仍面临挑战，因为模型规模大且前馈网络（FFN）和多头注意力机制中的内存密集型操作导致了这一问题

返回教程库 · 察元AI产品家族