察元AI教程库 · 文章 · 部署
在终端用户设备上进行的LLM推理近年来受到广泛关注，因其具有隐私优势和减少对外部基础设施的依赖。然而，由于解码过程是内存带宽受限的，现代终端设备中的各种处理单元无法被充分利用，导致性能受限。
作者:Jinhui Wei, Ye Huang, Yuhui Zhou · 语言:en
在终端用户设备上进行的LLM推理近年来受到广泛关注，因其具有隐私优势和减少对外部基础设施的依赖。然而，由于解码过程是内存带宽受限的，现代终端设备中的各种处理单元无法被充分利用，导致性能受限。