MIT牵头破题：AI能模拟社会，但谁来验证它？

Social Simulation Arena（SSA）由MIT研究团队牵头，联合多所高校学者构建，通过面向真实未来的公开评测检验社会模拟系统的预测能力。参赛系统需提前预测指定关键词的搜索热度分布，封存答案后由真实数据检验。

SSA评测分为开放提交、预测封存和完成评分三个阶段。题目提前公开，参与者在截止前提交加密预测，预测哈希摘要通过比特币区块链存证，观测结果公布后按规则评分并公开记录。

当前评测关注人群态度与行为变化，检验模拟系统对群体差异的刻画能力。任务包括预测总体指标、群体差异及关注流向，采用CRPS评分等方法评估预测准确性。

截至2026年9月24日，SSA已完成59轮评测，覆盖GPT、Claude、Gemini等16个模型。多数数值预测任务中，模型配置的平均得分仍低于沿用上期结果的persistence基线。

部分任务中出现明显优于基线的预测，如Kimi网络搜索配置在品牌搜索份额题中预测iPhone占比达55.0%，观测值为54.49%，预测损失较基线降低约89.9%。

评测结果显示，历史信息对预测有帮助，但增加预测流程未必带来一致改善。不同模型和工作流组合的预测表现差异显著，需通过具体对照验证其有效性。

SSA旨在建立共享基准和可复现评测流程，帮助研究者判断模型能力是否带来实际预测增益。持续公开的评测记录为后续研究提供可复核证据。