NeurIPS'26：引入双层Null路由与跨层协调机制，AttnResidual模型鲁棒性显著提升

为了解决增强 Transformer 表达能力时带来的激活异常值增大及低比特量化性能退化问题，来自西北大学、伊利诺伊理工学院和罗格斯大学的研究团队提出了 OASIS 方法。该方法被 NeurIPS 2026 接收，旨在通过显式的 null 选项优化双层信息路由，并在 LLaMA-3.2-1B、Qwen3-0.6B 和 Phi-4 等模型上取得了显著成效。OASIS 针对 AttnResidual 架构中 Token 层与 Depth 层双重归一化缺乏显式「弃权」选项的缺陷进行了改进。研究团队在 Softmax 基础上引入了零值 null 候选，并创新性地提出了 token-to-depth null coupling 机制。该机制将 Token 层的 null 概率统计注入 Depth 层的 logit 计算中，确保当某一分支在 Token 层选择「不读取」时，Depth 层也能相应降低对该分支的混合权重，避免了无效信息累积导致的激活分布偏移。实验数据显示，OASIS 大幅降低了模型激活的峰值度与幅度。以 LLaMA-3.2-1B 为例，OASIS 将平均激活峰度从 Vanilla AttnResidual 的 91.71 降至 3.02，最大激活幅度从 84.43 降至 12.25。这种平抑异常值的能力直接提升了模型对低比特量化的适应能力，例如在 W4A4 量化条件下，Qwen3-0.6B 的 GSM8K 准确率较 Full Precision 仅下降了约 3.8%，而 Vanilla AttnResidual 版本则出现了近 17% 的大幅下滑。消融实验进一步证实了跨层协调机制的关键作用。在 Qwen3-0.6B 的组件测试中，同时引入 Token 和 Depth 两处的独立 null 选项已能改善性能，而加入 coupling 调整后 GSM8K Pass@1 指标再提升了 4.67 个百分点。完整 OASIS 架构相较于 Vanilla AttnResidual 在 GSM8K 任务上平均相对提升达到了 13.21 个百分点，同时在 ThePile、MMLU 等多个基准测试中均表现出更低的困惑度与更高的准确率。OASIS 方法保留了原有训练目标，仅修改了路由机制以适配量化后的评测需求。通过 BookCorpus 和 Wiki40B/en 语料继续训练并适配该架构后，模型在保持全精度表现接近的同时，显著增强了在低比特环境下的推理能力，为构建更高效的轻量化大语言模型提供了新的技术路径。相关论文已公开于 arXiv（https://arxiv.org/abs/2605.17887），官方代码仓库也已上线供社区复现与使用（https://github.com/robinzixuan/OASIS）。该研究不仅验证了显式 null 路由在缓解注意力 sink 问题上的有效性，也为处理长上下文场景下的模型稳定性提供了新的解决思路。来源：aiera