AI 自我改写 Transformer 架构!DeepSeek“读脑自救”数学竞赛准确率暴涨 7%

AI新闻阅读 7
AI 自我改写 Transformer 架构!DeepSeek“读脑自救”数学竞赛准确率暴涨 7%
一项名为「机制干预」的突破性研究近日引发 AI 领域震动,该范式由 Mobileye 创始人 Amnon Shashua 创立的机构首次提出。其核心在于将编程 Agent 引入训练与推理现场,允许模型在不修改原始权重的情况下,通过插入 Python 代码实时接管计算流程并自主进化架构。研究团队发现,预训练模型仅需塞入 20 行由 AI 编写的代码,即可在单次前向推理中运行梯度下降操作。实验显示,当模型遇到瓶颈无法仅靠调优权重解决时,Agent 会生成候选代码并入网络,利用「幽灵梯度」精准定位关键层,并在短短 100 步内自动调整门控参数以激活新功能。更令人惊讶的是训练策略的对比结果:与开训即插入代码的「天生自带组」相比,先强制模型在有限窗口内夯实基础表征,待其遇到能力天花板后再半路插入 Python 代码层的效果更佳。后者的算法准确率比前者高出约 17 个百分点,实现了神经权重与符号计算的最佳配合。验证实验中,通过每隔 500 步连塞 10 个 Python 代码层,模型在涉及未见「中间长度」的测试中不再崩盘。面对 30 种经典算法测试,常规模型准确率仅为 55%,而加入代码干预后总准确率飙升至 84%,广度搜索与拓扑排序等难题分别达到 97% 和 93% 的解决率。在具体应用案例中,DeepSeek-V4.1-Flash 模型读取自身深层内部激活状态,自主编写了「读脑自救」的监控探针程序。该程序能在思维链推进过程中实时检测误差,一旦判定思路偏离分布便当场回滚重算。这一机制使其在 AIME 与 HMMT 2026 数学竞赛中的准确率从基准线提升超过 7 个百分点,达到 71.0%。这项技术标志着深度学习已跨越单纯调整权重的旧边界,神经网络架构本身可在训练过程中自主进化。未来模型将不再纯粹由权重构成,而是融合训练习得的参数与半路拼接的 Python 代码,共同应对复杂推理任务。
AI 自我改写 Transformer 架构!DeepSeek“读脑自救”数学竞赛准确率暴涨 7% - SmartAITool Blog