察元AI教程库 · 文章 · 部署

LeanStream：一种用于高效本地LLM推理的推测与优化流式框架

在设备上进行LLM推理对隐私和响应性具有吸引力，但在移动和嵌入式设备上仍面临挑战，因为模型权重远超可用的DRAM。现有系统利用激活稀疏性和将权重卸载到SSD或闪存存储，但面临一个根本性的系统权衡问题

作者:Renyuan Liu, Yuyang Leng, Kaiyan Liu · 语言:en

简介