复旦大学音视频预测基准：AI如何从视听中预知未来一秒

人类能轻松从背景音乐和演员表情中预判剧情走向，但这种近乎本能的“预知”能力，对人工智能而言却是一个长期挑战。复旦大学、上海创新研究院及新加坡国立大学的联合研究，首次系统性地为AI的多模态未来预测能力设立了评估基准，揭示了当前模型的真实水平。

这项编号为arXiv:2601.13836v1、发表于2026年1月的研究“FutureOmni”，是AI多模态预测领域的关键进展。研究指出，即便是顶尖模型，在融合视听信息预测下一秒事件时，准确率也仅为64.8%，远未达到实用化所需的可靠性。

其核心价值在于模拟现实世界的决策场景。以自动驾驶为例：系统必须同时处理急促的鸣笛声和行人横穿马路的视觉信号，并瞬间预判风险、做出反应。这种跨模态的时序推理能力，正是研究的焦点。

为此，研究团队构建了名为“FutureOmni”的基准测试平台，堪称AI的“预知能力大考”。该平台包含919个视频片段和1034道选择题，覆盖卡通、紧急救援、教育、日常等8个领域。每道题都要求AI基于当前音画内容，从多个选项中选出最可能发生的后续事件。

测试设计尤为严谨，引入了四类干扰项以杜绝模型取巧：视觉合理但忽略音频线索的选项；音频合理但与画面矛盾的选项；描述已发生事件的选项；以及因果逻辑倒置的选项。这迫使模型必须进行深度的音视频信息融合与理解。

研究评估了20个AI模型，包括13个多模态模型和7个纯视觉模型。谷歌的Gemini 3 Flash模型以64.8%的准确率领先，这一成绩在领域内虽属前列，但与人类能力差距显著。纯视觉模型表现更弱，最佳准确率仅49.7%，这证实了音频信息在时序预测中不可或缺的作用——如同在黑暗中依靠脚步声判断方位。

所有模型在处理富含对话的场景时表现最差，而对背景音乐或环境音的预测则相对较好。这揭示了AI在语义层面的理解瓶颈：预测基于语言内容的后续发展，远比识别声音类别复杂。此外，视频时长也影响性能：片段过短则上下文不足，过长则信息冗余，AI难以聚焦关键线索。

为突破瓶颈，团队开发了名为“OFF”的训练范式。该方法利用7000个附带详细推理链的高质量样本进行训练，相当于为AI提供了结构化的“预测思维指南”。

效果显著。经OFF训练的模型，不仅在核心预测任务上表现更优，在音视频问答、内容理解等关联任务上也实现了性能迁移。通过分析模型的注意力机制发现，训练后的AI能更精准地锁定视频关键帧和重要音频片段，其信息处理模式更接近人类观看电影时的自然聚焦。

这项研究的应用前景广阔。在自动驾驶领域，它能提升系统对突发路况的预判安全性；在智能监控中，有助于提前识别潜在风险；在人机交互层面，可让助手更精准地理解用户意图；在娱乐产业，也能推动更智能的游戏AI或个性化内容推荐系统的开发。

团队对918个预测失败案例进行了根因分析，归纳出四大主要错误类型：约52%源于视觉理解缺陷，无法捕捉画面关键细节；约31%是因模型无法有效融合视听信息进行综合推理；约15%归因于音频理解不足；仅约3%是由于知识库欠缺。这一分析明确指出，当前AI的核心瓶颈在于跨模态的感知与推理能力，而非知识储备本身。

研究最终表明，赋予AI类人的情境预知能力，仍是一项长期工程。但团队通过建立标准化的评估基准和有效的训练方法，为该领域奠定了坚实基础。随着技术迭代，具备强大预测能力的AI，有望在未来成为各行各业可靠的智能增强工具。

对公众而言，这项进展意味着我们正走向AI能真正理解并预判复杂动态场景的时代。无论是更安全的交通工具，还是更懂你的智能家居，技术的最终目标是让生活更高效、更安全。虽然前路尚远，但正如本研究所示，科学家们正在扎实地推进，一步步缩小AI与人类在情境预测上的能力鸿沟。

Q&A

Q1：FutureOmni基准测试是什么？

A：FutureOmni是由复旦大学等机构牵头构建的首个音视频未来预测基准。它包含919个视频和1034道题目，专门用于评估AI模型能否像人类一样，综合当前的声音与画面信息，准确预测下一秒可能发生的事件。

Q2：目前AI模型的未来预测能力如何？

A：基准测试结果显示，当前最优模型（谷歌Gemini 3 Flash）的预测准确率为64.8%，与人类水平存在明显差距。尤其是在涉及对话交互的复杂场景中，AI的表现更为薄弱。

Q3：OFF训练方法是如何提升AI预测能力的？

A：OFF训练方法通过提供7000个附带详细推理过程的高质量样本，系统化地教导AI如何进行跨模态的时序推理。经过该方法训练后，AI不仅在未来预测任务上表现更佳，其整体的音视频理解与问答能力也获得了同步提升。