察元AI教程库 · 文章 · 大模型

作为Transformer诞生——永远是Transformer吗？预训练对架构能力的影响

变换器在建模某些序列到序列任务时存在理论上的局限性，但这些局限性在大规模预训练大语言模型（LLM）中是否发挥作用，或者由于模型规模的扩大，LLM是否能实际克服这些限制，仍不清楚

作者:Mayank Jobanputra, Yana Veitsman, Yash Sarrof · 语言:en

简介