察元AI教程库 · 仓库 · 部署

NVFP4-on-4090-vLLM

AdaLLM是一个面向Ada Lovelace（RTX 4 090）的NVFP4优先的推理运行时，支持FP8 KV缓存和自定义解码内核。本项目针对NVFP4权重，将整个解码路径保持在FP8。

作者:BenChaliah · 语言:en

简介

AdaLLM是一个面向Ada Lovelace（RTX 4 090）的NVFP4优先的推理运行时，支持FP8 KV缓存和自定义解码内核。本项目针对NVFP4权重，将整个解码路径保持在FP8。