Meta联手斯坦福发布视频大模型阿波罗计划：3B模型性能超越7B的深度评测
这项由Meta GenAI与斯坦福大学联合开展的突破性研究，于2024年12月16日发布（论文编号arXiv:2412.10360v1），为我们揭开了视频理解大模型的设计奥秘，并推出了革命性的Apollo模型系列。
如果把AI理解文字和图片比作家常便饭，那么让它看懂动态视频，无疑就是烹饪一道工序复杂的大菜。视频不仅包含丰富的空间信息，更承载着随时间流动的复杂叙事，这对机器的理解能力提出了前所未有的挑战。
长久以来，构建优秀的视频理解模型面临三重困境，恰似厨师遇到的经典难题：首先是“食材”成本高昂，海量计算资源的需求让人望而却步；其次是“配方”不明，业界对于最佳模型架构缺乏系统性认知，许多关键决策依赖直觉而非数据；最后是“品鉴”效率低下，传统评估方法耗时费力，评估一个模型动辄消耗184个GPU小时，严重拖慢了研发进程。
然而，研究团队的一项关键发现彻底改变了局面，他们称之为“缩放一致性”。这好比找到了烹饪中的黄金法则——在小锅调试成功的调料配比，放大到大锅后风味依然完美。具体而言，在参数规模约2-4B的较小模型和数据集上验证的设计方案，其优劣排序在更大的模型上保持了惊人的一致性（相关性高达90%以上）。这一发现意味着，研究者可以用相对低廉的成本，快速筛选出最有潜力的设计思路，然后放心地将其应用于规模更大的最终模型。
基于这一原则，团队开启了一场全方位的“配方优化”实验，系统性地探索了从视频采样、模型架构到训练策略的每一个环节。这种全链路的深度剖析，在业界尚属首次。
一、重新定义评估标准：ApolloBench的诞生
工欲善其事，必先利其器。要优化模型，首先得有一把精准的“尺子”。研究团队发现，现有的视频理解评估基准存在一个根本性问题：许多测试题目，其实并不需要真正的视频理解能力就能回答。
为了验证这一点，他们设计了一个巧妙的对照实验：让十个开源模型分别在三种模式下回答问题——观看完整视频、只看单帧静态图片，以及仅阅读问题文本。结果令人震惊：大量所谓的“视频理解”任务，实际上仅凭文本或单帧信息就能获得高分。这就像一场厨艺比赛，评委打分主要看菜品摆盘，而非真正品尝其味道。
更反常的是，随着视频长度增加，模型对真实视频内容的依赖度反而降低了。这暴露出现有评估体系可能正在误导整个研究方向。为此，团队精心打造了ApolloBench评估体系。他们从现有题库中严格筛选出400道题目，确保每道题都必须通过理解视频中的时序变化才能正确作答。这些题目被分为时序文字识别、第一人称视角理解等五大核心类别。
ApolloBench的效率提升是碘伏性的：评估速度比传统方法快了41倍，同时评估质量更高、指向性更准。相关性分析证实，它与现有主流基准高度相关，但剔除了“水分”，专注于衡量真正的视频理解能力。
二、架构设计的艺术：从采样到编码的全链路优化
有了精准的评估工具，优化工作便有了方向。研究团队系统性地探索了模型设计的每个环节，其中一些发现足以碘伏传统认知。
首先是视频采样策略。主流方法“均匀帧采样”存在一个隐蔽缺陷：对于不同时长的视频，它实际上改变了内容的“播放速度”。例如，对10秒视频采样32帧相当于每秒3.2帧；但对100秒视频采样同样32帧，就变成了每秒0.32帧的“慢动作”。这好比要求学生在固定时间内读完不同厚度的书，结果必然是对长内容的理解流于表面。
相比之下，“帧率采样”固定了每秒采样的帧数（如2帧/秒），确保了时间维度的一致性。实验证明，这种方法显著优于均匀采样，尤其在理解物体运动速度等任务上。研究还发现，采样频率与每帧分配的token数量之间存在最佳平衡点，通常在8-32个token之间。
在视觉编码器的选择上，结果出人意料。尽管直觉上视频编码器应更具优势，但实验表明，在单一编码器配置中，图像编码器SigLIP-SO400M表现最佳。然而，故事的精彩处在于组合使用：将SigLIP-SO400M与视频编码器InternVideo2结合，能在ApolloBench上带来约7%的额外性能提升。这种“双编码器”架构形成了巧妙的互补：图像编码器提供高质量的空间特征，视频编码器则补充关键的时序信息。
在特征处理环节，用于压缩视觉token的“重采样器”也经过了仔细对比。Perceiver重采样器在各项测试中全面领先于简单的MLP映射或2D卷积方法，尤其在需要精细特征整合的任务中优势明显。
最后，如何将视频token与文本token融合？最初简单拼接的方式被证明并非最优。在不同视频片段的token之间添加分隔符（最终采用“clip from 00:00-00:05:
三、训练策略的深度解析：从数据配比到学习调度
优秀的架构需要匹配精妙的训练策略，方能发挥最大潜力。研究揭示了训练过程中的几个关键原则。
在训练阶段设计上，三阶段渐进式解冻策略被证明效果最佳。第一阶段为“对齐阶段”，仅训练连接器模块，初步桥接视觉与语言特征。第二阶段进入“视觉预训练”，冻结语言模型，专门使用视频数据训练视觉编码器，强化其时序理解能力。第三阶段才是全面的“监督微调”，解冻整个模型进行端到端训练。
一个反直觉的发现关乎视觉编码器的训练数据：专一化远胜于混合。当视觉编码器需要同时处理图像和视频数据时，其性能会显著下降。因此，最佳实践是在需要训练视觉编码器时，仅使用视频数据，以最大化其时序建模能力。
数据配比的研究同样充满智慧。虽然目标是视频理解，但完全剔除文本数据会导致模型语言能力“灾难性遗忘”。保持10-14%的文本数据比例，对于维持模型的基础语言理解能力至关重要。最终的最优配比是：14%文本数据，其余86%由图像、多图像和视频数据构成，其中视频数据占比略高。这种“视频偏重”的混合策略，既能充分利用高质量图像数据增强视觉表征，又能确保模型的核心视频理解能力得到充分训练。
学习率的调节也需“因材施教”。语言模型的学习率需遵循平方根缩放规律随模型大小调整；连接器模块适用较高学习率以加速收敛；而视觉编码器的学习率则需相对保守，以避免破坏其预训练阶段学到的宝贵特征。
四、Apollo模型：小而强的新标杆
集上述所有发现之大成，Apollo模型系列应运而生。该系列包含1.5B、3B和7B三个版本，每个都在其参数规模内树立了新的性能标杆。
Apollo的架构凝聚了前述精华：采用SigLIP与InternVideo2的双编码器组合，特征经Perceiver重采样器压缩；基于Qwen2.5系列语言模型，实施三阶段渐进式训练。其训练数据经过精心设计，包含33%图像、16.6%多图像、14.4%文本及36%视频数据，并利用LLaMA 3.1 70B生成了多轮视频对话数据以增强交互能力。
性能表现令人瞩目。Apollo-3B这个仅30亿参数的“小个子”，在多个基准测试中击败了众多70亿参数的对手。在MLVU基准上，它以68.7分超越Oryx-7B的67.5分；在Video-MME上达到58.4分，较同规模最佳模型提升12.8分；在其专属的ApolloBench上获得62.7分，领先基线模型14.1分。
Apollo-7B则在70亿参数级别建立了统治力。其在MLVU上的70.9分不仅冠绝同级，甚至可媲美部分300亿参数模型；在Video-MME和ApolloBench上也分别取得63.3分和66.3分的优异成绩。这种优势并非来自粗暴的参数堆叠，而是源于精密的架构与训练优化。
此外，Apollo系列展现出卓越的长视频处理能力。通过优化的采样与token管理，它能有效理解小时级的长视频内容，在LongVideoBench测试中取得了55.1分的高分。
五、技术创新的深层影响
Apollo项目的价值，远不止于推出了一系列高性能模型。它更为整个领域带来了方法论上的革新。
“缩放一致性”的发现，极大地降低了前沿探索的成本门槛，使更多研究团队能以小规模实验验证思路，再安全地放大。ApolloBench评估体系则像一把精准的手术刀，剔除了传统评估中的“水分”，迫使整个领域重新审视何为真正的视频理解能力，其41倍的效率提升更是加速了研发迭代。
在实际应用层面，Apollo-3B以小博大的成功证明，通过精妙设计，完全可以在资源受限的边缘设备或移动端部署强大的视频理解能力。研究中总结的设计原则——如帧率采样优于均匀采样、双编码器协同、渐进式训练等——为后续研究提供了清晰的路线图。
这项由产业界（Meta GenAI）与学术界（斯坦福）深度合作的成果，也展示了产学研融合的巨大潜力。最终，Apollo项目改变了我们对视频理解问题的根本认知：它证明，通往更高性能的道路，未必是盲目扩大模型规模，“小而精”的科学化设计与工程实践，同样能引领方向。
随着相关代码与模型权重的开源，相信Apollo的发现将激发更多创新，推动AI在理解动态视觉世界的道路上，迈出更坚实的步伐。
Q&A
Q1：什么是Apollo模型的“缩放一致性”原理？
A：缩放一致性是指，在较小参数规模（如2-4B）的模型和数据集上验证有效的设计方案，其性能排序在扩展到更大模型时依然保持稳定。这一发现使得研究人员能够以较低成本快速进行架构探索，再可靠地应用于大模型开发。
Q2：为什么Apollo-3B能够击败更大的7B模型？
A：Apollo-3B的优势源于一系列精细的架构与训练优化，而非参数数量。关键包括：采用帧率采样确保时间一致性、使用双编码器协同提取特征、利用Perceiver重采样器高效压缩信息，以及执行三阶段渐进式训练策略。这些设计使其能以更小的规模实现更高的信息处理效率。
Q3：ApolloBench相比传统评估方法有什么优势？
A：ApolloBench的核心优势在于其精准性与高效性。它通过严格筛选，确保测试题目必须依赖视频时序理解才能作答，排除了仅凭文本或单帧图片即可解题的“伪视频任务”。因此，其评估结果更能真实反映模型的视频理解能力，同时评估速度比传统方法快41倍，极大提升了研发效率。