察元AI教程库 · 文章 · 部署

Lever：在智能手机上实现推测式LLM推理

大型语言模型（LLMs）在交互式移动应用中的需求日益增长，但高质量模型超出了智能手机上可用的有限DRAM。闪存存储可以容纳更大的模型，但基于闪存的推理速度较慢，因为自回归解码会反复调用目标模型

作者:Tuowei Wang, Fengzu Li, Yanfan Sun · 语言:en

简介