察元AI教程库 · 文章 · 大模型

训练好的Transformer模型在上下文中学习线性模型

基于注意力的神经网络，如Transformer，已经展示了在上下文学习（ICL）方面的显著能力：给定一个来自未见任务的短提示序列，它们可以在不更新任何参数的情况下，生成相关的逐token和下一个token的预测。通过嵌入

作者:Ruiqi Zhang, Spencer Frei, Peter L. Bartlett · 语言:en

简介