察元AI教程库 · 视频 · 大模型
2017 年，谷歌 8 个人，8 块 P100，训了 3.5 天，写出这篇 Attention Is All You Need。翻译质量 BLEU 28.4 → 41.8，被引用将近二十万次。GPT 的 T、BERT 的 T，都从这张图里来。 这期所有打分都是真实 BERT 模型跑出来的结果，不是示意图：句子里"它"指的是谁，机器读完 8 个词，97% 指向"橘猫"。 3 分钟，…
作者:拾贰Hz声波 · 语言:zh
2017 年，谷歌 8 个人，8 块 P100，训了 3.5 天，写出这篇 Attention Is All You Need。翻译质量 BLEU 28.4 → 41.8，被引用将近二十万次。GPT 的 T、BERT 的 T，都从这张图里来。 这期所有打分都是真实 BERT 模型跑出来的结果，不是示意图：句子里"它"指的是谁，机器读完 8 个词，97% 指向"橘猫"。 3 分钟，讲清这张图的每一层都在干什么。