察元AI教程库 · 文章 · 大模型

基于硬件的异构内存管理用于大语言模型推理

大型语言模型（LLM）是当今最重要的新兴机器学习应用之一。然而，由于其模型规模巨大，且运行时内存占用增加，LLM的推理在由多个GPU组成的常规系统中面临内存容量不足的问题。

作者:Soojin Hwang, Jungwoo Kim, Sanghyeon Lee · 语言:en

前往原址学习

简介

大型语言模型（LLM）是当今最重要的新兴机器学习应用之一。然而，由于其模型规模巨大，且运行时内存占用增加，LLM的推理在由多个GPU组成的常规系统中面临内存容量不足的问题。

返回教程库 · 察元AI产品家族