察元AI教程库 · 仓库 · 大模型

APEX-1

一个基于PyTorch从零构建的生产级LLM架构,包含多头潜在注意力(MLA)、专家混合(MoE)、GRPO对齐,以及一个完整的31部分教育课程。

作者:AarambhDevHub · 语言:en

前往原址学习

简介

一个基于PyTorch从零构建的生产级LLM架构,包含多头潜在注意力(MLA)、专家混合(MoE)、GRPO对齐,以及一个完整的31部分教育课程。

返回教程库 · 察元AI产品家族