察元AI教程库 · 仓库 · 部署

ntransformer

基于C++/CUDA的高效LLM推理引擎。在RTX 3090上运行Llama 70B。

作者:xaskasdf · 语言:en

前往原址学习

简介

基于C++/CUDA的高效LLM推理引擎。在RTX 3090上运行Llama 70B。

返回教程库 · 察元AI产品家族