察元AI教程库 · 文章 · 部署
大语言模型（LLMs）在自然语言处理任务中表现优异，但由于其资源消耗巨大，导致在边缘设备部署时面临显著的计算和内存挑战。本工作通过算法-硬件-数据流的三重优化，提升了LLM推理的效率。我们提出了一种新的优化方法。
作者:Zhican Wang, Hongxiang Fan, Haroon Waris · 语言:en
大语言模型（LLMs）在自然语言处理任务中表现优异，但由于其资源消耗巨大，导致在边缘设备部署时面临显著的计算和内存挑战。本工作通过算法-硬件-数据流的三重优化，提升了LLM推理的效率。我们提出了一种新的优化方法。