教科书级公式全错！底层舍入机制引AI模型崩塌，Gemini率先自我修复

Google DeepMind主任研究科学家Jon Barron揭露了广泛存在于PyTorch、JAX框架及各类教科书中的算法缺陷：标准版本的Softmax和交叉熵实现一直在悄悄将关键数值舍入为零。这一机制导致模型越自信，正确的训练信号反而越容易消失，引发优化器失控与训练曲线剧烈震荡。该漏洞的根源在于计算机浮点运算的精度限制。为防止溢出，现有框架会先减去最大得分，当正确答案的得分远超其他答案时，分母中的微小数值在bfloat16或fp32格式下会被直接舍入为零。这使得数学上等价的操作在计算机中失效，导致正确梯度瞬间归零，优化器Adam因除以极小平均值而产生剧烈震荡，即所谓的“弹弓效应”。DeepMind团队在arXiv发表论文并提出修复方案：针对崩溃问题，改用log-sum-exp计算边距并返回负边距的softplus；针对知识蒸馏中的抵消问题，在对数空间使用expm1和log1p函数。测试显示，修复后的代码在模加法任务中将准确率从93.3%提升至100%，并在蒸馏测试中彻底消除了“幽灵梯度”。Barron指出，Gemini Flash 3.7最初发现了并修复了这一Bug，随后的实验由Flash 3.8完成，论文初稿由Gemini 4 Argon撰写。独立工程师Satyajit Ghana在PyTorch中的复现进一步证实了该机制的真实性。这一发现提醒业界，追求芯片速度导致的精度降级（如从双精度降至bfloat16）正在重演历史上的悲剧。历史上因数字舍入误差造成惨剧的案例屡见不鲜：1991年海湾战争中“爱国者”导弹拦截失败致28名美军士兵丧生，系时间转换误差累积所致；1994年Intel奔腾处理器因查找表缺失条目导致浮点运算错误，最终损失4.75亿美元。如今AI领域在常用函数中再次遭遇此类舍入问题，警示开发者在精度与速度之间需重新平衡智慧。