RSI 研究新突破：MemT 1.0 实现记忆原生，将经验直接编码进模型内部状态

封面为AI生成的主题示意图，非新闻现场照片。

AI 领域近日迎来 RSI（Recursive Self-Improvement）研究的重大进展。Hinton 主导的 RSI 论文吸引了包括 Bengio、OpenAI 首席科学家 Pachocki 及 Anthropic 联合创始人 Jack Clark 在内的多位顶尖专家加入，标志着行业对 AI 自我改进机制的高度关注。

在此背景下，量子位开源了名为 MemT 1.0 的记忆原生模型系列，旨在将“记忆”能力原生地焊接进 Transformer 架构中。不同于外挂经验库的传统思路，MemT 1.0 选择将经验的保留、更新与调用转化为模型内部的学习能力。

该模型通过在选定的 Transformer 模块中增加一条与原有注意力机制并行的记忆计算通路实现其核心功能。经验被编码为内部动态矩阵状态，生成答案时经由专门的记忆分支读取并融合输出，从而影响后续计算过程。

MemT 1.0 首次实现了近 300B 参数规模的工程验证，包含两个型号：基于 Qwen3.6-35B-A3B 基座的 36B 参数 Nano 版，以及基于 DeepSeek-V4-Flash 后训练的 288B 参数 Flash 版。两者均在激活状态约为总参数的 6%-7%。

在实际测试中，MemT 1.0 展现了显著的可靠性优势。在 SWE-bench Verified 任务的复杂代码修复场景中，Nano 版本的关键断点平均成功率为 69.73%，高于无经验基线的 66.07% 和文本经验组的 69.13%；三次全部成功的任务比例提升至 62.80%。

在迷宫探索与信息更新等演示场景中，具备记忆原生的模型能够准确归档上一轮的探索路径或区分正式决定与建议信息。在综合评估基准中，Flash 和 Nano 版本表现优异，平均得分分别为 50.6 和 47.0，位列参数量化记忆方法的前两名。

MemT 1.0 的架构保留了基座的通用能力权重并加以冻结，仅在特定模块引入可训练的超记忆参数与局部动态矩阵状态。这一设计让经验不再依赖外部上下文检索，而是直接内化为模型的计算状态，为 AI 自我改进提供了新的技术路径。