察元AI教程库 · 文章 · 部署

让大型语言模型推理对每个人而言都更加可负担:通过NDP-DIMM扩展GPU内存

千亿级大型语言模型(LLMs)需要部署在配备大容量HBM内存和强大计算能力的高端服务器GPU上。随着LLM辅助服务的普及,如何在低成本硬件上实现高效、经济的LLM推理已成为趋势。大量研究

作者:Lian Liu, Shixin Zhao, Bing Li · 语言:en

前往原址学习

简介

千亿级大型语言模型(LLMs)需要部署在配备大容量HBM内存和强大计算能力的高端服务器GPU上。随着LLM辅助服务的普及,如何在低成本硬件上实现高效、经济的LLM推理已成为趋势。大量研究

返回教程库 · 察元AI产品家族