察元AI教程库 · 文章 · 部署

Endor：适用于卸载语言模型推理的硬件友好稀疏格式

随着大型语言模型（LLMs）规模的扩大，它们在资源受限平台上的使用面临挑战。例如，现代GPU的内存不足以容纳数百GB大小的LLM。为解决这一限制，通过将LLM的权重卸载到其他设备是一种流行的方法

作者:Donghyeon Joo, Ramyad Hadidi, Soheil Feizi · 语言:en

前往原址学习

简介

随着大型语言模型（LLMs）规模的扩大，它们在资源受限平台上的使用面临挑战。例如，现代GPU的内存不足以容纳数百GB大小的LLM。为解决这一限制，通过将LLM的权重卸载到其他设备是一种流行的方法

返回教程库 · 察元AI产品家族