察元AI教程库 · 仓库 · 部署
关于在 AMD Ryzen AI Max+ 395(Strix Halo)上,配备 128GB 统一内存,如何本地运行大型语言模型的完整指南。涵盖 BIOS 配置、内核设置、ROCm 安装以及 llama.cpp 部署。可在单个 APU 上运行 700 亿参数以上的模型。
作者:Gygeek · 语言:en
关于在 AMD Ryzen AI Max+ 395(Strix Halo)上,配备 128GB 统一内存,如何本地运行大型语言模型的完整指南。涵盖 BIOS 配置、内核设置、ROCm 安装以及 llama.cpp 部署。可在单个 APU 上运行 700 亿参数以上的模型。