Lev模型革新决策推理：同个循环实现难题准确率提升13%

针对客服系统每秒处理成百上千条请求中简单与复杂问题混存的场景，Lehigh University、University of British Columbia和Vector Institute的研究团队提出了Lev决策模型。该模型旨在解决传统决策模型在处理难题时计算量过大，或在简单问题上资源浪费的问题。

Lev采用循环架构代替传统的Token生成过程，每运行一圈即读出一次答案。这种被称为System 1.5的计算方式保留了快速响应的接口，同时在隐藏状态中像System 2一样为难题增加计算深度。实验显示，在JevBench的231道公开题上，Lev-2.6B模型从一圈到四圈的准确率从63.2%提升至76.2%，增幅达13个百分点。

研究指出，传统的级联策略和生成推理文本的方案存在效率瓶颈。相比之下，Lev在50ms以内的延迟区间，比同延迟的非循环模型和级联方案准确率高出5.4到8.8个百分点。离线统计表明，按需深度计算可减少15%至24%的环路计算量，同时准确率损失不到1个点。

Lev的核心设计包括每一圈都读出答案、所有圈联合训练以及预测当前答案与最深一圈是否一致的停止器机制。这种停止器不依赖人工标注，能够利用无标签请求进行校准，有效避免了浅层模型过度自信导致的误判问题。