OpenAI前研究员重磅论文：神经网络内部早有规律，90%神经元各司其职

刚刚，OpenAI前研究员Nick Cammarata与Goodfire团队发布了一篇题为《神经网络早已「干净」》的重磅长文，揭示了一个令人振奋的结论：看似纠缠成死结的神经元实际上早有章可循，其中约90%的神经元各有一个主要任务。

研究团队通过具体案例展示了这一发现。在一个万亿参数模型中，面对“捡到钱包应归还”的指令，研究人员将内部计算过程绘制成电路图，追踪了从识别物品、现金到最终生成“归还”判断的信息流向。这种可视化让研究者得以看清哪些信息参与了决策以及它们如何影响结果。

为验证解释的可靠性，团队进行了神经元干预实验。在回答关于“圣诞节早晨是谁干的好事”的问题时，关闭部分被标记为相关功能的神经元后，模型回答“圣诞老人”的概率从接近100%骤降至6%，这证明了特定神经元的数值变化直接主导了最终输出。

研究进一步指出，早期工具曾让部分神经元显得混乱，因为它们既对猫脸反应也对汽车前脸反应。重新观察发现，这是因为模型按形状特征而非物体名称分类。此外，许多被误读的神经元实际上负责识别共同属性（如朝向），这些信息随后被分流用于识别不同的物体。

随着分析工具和模型结构的进步，更多隐藏规律浮出水面。在ConvNeXt等现代模型中，约99%的神经元已可解释。研究发现神经元能沿字形、缩写和语义进行“递归泛化”，甚至能同时响应英文、Base64编码和孟加拉语，背后统一的模式是它们都与特定字符序列有关。

团队还通过极限实验证明，即使将视觉模型某一层的神经元数量从480个压缩到10个，模型仍能学会曲线等可辨认的规律，并未出现预期的混乱。Nick Cammarata比喻道，就像城市变大后分工更鲜明一样，AI模型规模越大，内部越容易读懂，人类也更有机会掌握其运作机制。

这项研究标志着AI可解释性领域可能迎来重大时刻，让AI可靠地按人类意图行动有望成为一门靠实验推进的常规科学，帮助人类决定这段技术旅程将通向何方。