察元AI教程库 · 仓库 · 部署

MInference

[NeurIPS'24亮点、ICLR'25、ICML'25] 为了加速长上下文LLM的推理，采用近似和动态稀疏计算注意力，可在A100上将预填充的推理延迟降低10倍，同时保持准确性

作者:microsoft · 语言:en

前往原址学习

简介

[NeurIPS'24亮点、ICLR'25、ICML'25] 为了加速长上下文LLM的推理，采用近似和动态稀疏计算注意力，可在A100上将预填充的推理延迟降低10倍，同时保持准确性

返回教程库 · 察元AI产品家族