察元AI教程库 · 文章 · 部署

M2K：为可靠CUDA内核验证明确模型-内核接口

大型语言模型（LLM）的推理系统依赖CUDA内核进行核心GPU计算，但模型与内核之间的接口是隐式的且缺乏明确规范。模型和内核独立演进，常对张量形状和输入尺寸做出不兼容的假设，导致

作者:Mengting He, Shihao Xia, Haomin Jia · 语言:en

前往原址学习

简介

大型语言模型（LLM）的推理系统依赖CUDA内核进行核心GPU计算，但模型与内核之间的接口是隐式的且缺乏明确规范。模型和内核独立演进，常对张量形状和输入尺寸做出不兼容的假设，导致

返回教程库 · 察元AI产品家族