察元AI教程库 · 文章 · 部署

LP-Spec：利用LPDDR PIM，通过架构-数据流协同优化实现高效大语言模型移动推测推理

在移动设备上进行LLM推理面临内存带宽和计算资源有限的额外挑战。为解决这些问题，人们在算法和硬件层面探索了推测性推理和处理内存（PIM）技术。然而，推测性推理

作者:Siyuan He, Zhantong Zhu, Yandong He · 语言:en

前往原址学习

简介

在移动设备上进行LLM推理面临内存带宽和计算资源有限的额外挑战。为解决这些问题，人们在算法和硬件层面探索了推测性推理和处理内存（PIM）技术。然而，推测性推理

返回教程库 · 察元AI产品家族