察元AI教程库 · 文章 · 排行榜

语言模型中的算法进展

我们研究了自深度学习出现以来，语言模型预训练算法的改进速度。利用一个包含200多个语言模型评估（在Wikitext和Penn Treebank上）的数据库，时间跨度为2012-2023年，我们发现，要达到特定性能阈值所需的计算量

作者:Anson Ho, Tamay Besiroglu, Ege Erdil · 语言:en

简介