察元AI教程库 · 文章 · 部署

PowerInfer：使用消费级GPU实现快速的大语言模型服务

本文介绍了PowerInfer，一种基于单块消费级GPU的个人电脑（PC）上的高速大语言模型（LLM）推理引擎。PowerInmfer的设计核心原则是利用LLM推理中固有的高局部性，其特点是

作者:Yixin Song, Zeyu Mi, Haotong Xie · 语言:en

前往原址学习

简介

本文介绍了PowerInfer，一种基于单块消费级GPU的个人电脑（PC）上的高速大语言模型（LLM）推理引擎。PowerInmfer的设计核心原则是利用LLM推理中固有的高局部性，其特点是

返回教程库 · 察元AI产品家族