察元AI教程库 · 仓库 · 部署

Framework-strix-halo-llm-setup

关于在 AMD Ryzen AI Max+ 395(Strix Halo)上,配备 128GB 统一内存,如何本地运行大型语言模型的完整指南。涵盖 BIOS 配置、内核设置、ROCm 安装以及 llama.cpp 部署。可在单个 APU 上运行 700 亿参数以上的模型。

作者:Gygeek · 语言:en

前往原址学习

简介

关于在 AMD Ryzen AI Max+ 395(Strix Halo)上,配备 128GB 统一内存,如何本地运行大型语言模型的完整指南。涵盖 BIOS 配置、内核设置、ROCm 安装以及 llama.cpp 部署。可在单个 APU 上运行 700 亿参数以上的模型。

返回教程库 · 察元AI产品家族