字节研究发现 DeepSeek-V4 因 KV Cache 压缩步长出现周期性性能波动

字节跳动 Seed 团队最新研究揭示了大模型 DeepSeek-V4 系列表现不稳定的根本原因：模型对输入信息在上下文中的位置表现出周期性敏感性，这种现象与长上下文优化技术密切相关。

在针对 DeepSeek-V4-Flash-Base 的实验中，研究人员发现只需在代码补全任务前添加不同数量的无关字符（Token），模型的正确答案选择概率就会以 4 个 Token 为周期剧烈波动。例如，当填充长度模 4 余数为 0 或 1 时，模型倾向于给出错误答案，其余数则为 2 或 3 时回答正确。

进一步的长上下文检索测试显示，同一条信息仅改变位置，DeepSeek-V4 系列的检索准确率最高差距可达 40.2 个百分点。经过后训练，虽然差异有所缩小（DeepSeek-V4.1-Flash-0910 降至 6.1 个百分点），但这种周期性波动依然存在。

研究人员证实，这种波动的周期恰好对应于模型采用的分块 KV Cache 压缩步长。DeepSeek-V4 的步长为 4，表现周期为 4；而更新后的 DeepSeek-V4.1 步长变为 2，其性能波动周期也随之缩短至 2 个 Token。

问题的根源在于“分块 KV Cache 压缩”技术。该技术将连续 Token 划分为窗口并压缩缓存以节省内存，但 Seed 团队发现模型对信息相对于压缩窗口边界的位置（即 Phase）存在系统性差异。这种被称为“相位敏感性”的机制导致模型写入和读取压缩缓存时的表现不一致。

为验证这一结论，Seed 团队基于 Qwen3-0.6B 架构构建了多种 KV Cache 压缩方案进行测试。结果发现，所有采用分块压缩机制的模型均出现了与压缩步长一致的周期性变化，而未采用压缩的全注意力基线模型则未出现此类现象。