察元AI教程库 · 文章 · 大模型

基于PyTorch autograd的大型语言模型的困惑度Hessian(开源)

计算完整的Hessian矩阵——即整个大型语言模型(LLM)的二阶导数矩阵——是不可行的,因为其规模太大。在本技术报告中,我们旨在提供一个全面的指南,说明如何准确计算LLM的至少一小部分Hessian矩阵

作者:Ivan Ilin · 语言:en

前往原址学习

简介

计算完整的Hessian矩阵——即整个大型语言模型(LLM)的二阶导数矩阵——是不可行的,因为其规模太大。在本技术报告中,我们旨在提供一个全面的指南,说明如何准确计算LLM的至少一小部分Hessian矩阵

返回教程库 · 察元AI产品家族