察元AI教程库 · 仓库 · 部署

marlin

FP16xINT4 LLM推理内核,可在中等批次(16-32个token)下实现接近理想值的约4倍加速

作者:IST-DASLab · 语言:en

前往原址学习

简介

FP16xINT4 LLM推理内核,可在中等批次(16-32个token)下实现接近理想值的约4倍加速

返回教程库 · 察元AI产品家族