察元AI教程库 · 文章 · 大模型
机制可解释性已经识别出大型语言模型(LLMs)中的功能子图,即Transformer电路(TCs),这些电路似乎实现了特定的算法。然而,我们缺乏一种正式的、单次遍历的方式来量化一个活跃电路是否行为一致,从而可能为真
作者:Anatoly A. Krasnovsky · 语言:en
机制可解释性已经识别出大型语言模型(LLMs)中的功能子图,即Transformer电路(TCs),这些电路似乎实现了特定的算法。然而,我们缺乏一种正式的、单次遍历的方式来量化一个活跃电路是否行为一致,从而可能为真