VerseCrafter - 复旦联合腾讯开源的动态真实视频世界模型
VerseCrafter是什么
当视频生成技术从“能否生成”转向“如何精确控制”时，VerseCrafter的出现标志着一次关键突破。这个由复旦大学与腾讯PCG ARC Lab联合研发的动态真实视频世界模型，其核心优势在于卓越的4D几何控制能力。它彻底改变了被动等待AI生成结果的模式，允许用户像导演一样，对摄像机视角和画面中物体的三维运动轨迹进行精准编排。
这种能力的实现，根植于其训练所依赖的大规模真实世界数据集——VerseControl4D。在这一数据海洋中淬炼出的VerseCrafter，在处理复杂动态场景时，展现出惊人的时空一致性。用户只需预先设定相机路径与物体运动目标，模型便能生成几何连贯、视觉质量出色的动态视频。这项技术为影视制作、游戏开发及虚拟现实等领域，开辟了全新的内容创作路径。
VerseCrafter的主要功能
VerseCrafter为用户提供了多维度的精细控制，将视频生成的主动权完全交付。其核心功能体现在以下几个方面：
- 4D几何控制：这是模型的基石能力。用户不仅可以规划摄像机的运动路径，还能为多个目标物体指定基于3D高斯的运动轨迹。这实现了对视频视角与画面内容的双重、同步控制。
- 灵活的控制模式：模型支持多种控制组合。你可以仅控制相机运镜，生成纯粹的视角移动视频；也可以仅控制特定物体在固定镜头中运动；或实现相机与物体的协同动态，满足从简单到复杂的各类叙事需求。
- 高质量视频生成：精细控制并未牺牲画质。VerseCrafter在响应用户指令的同时，确保了高度的视觉真实感与几何连贯性，有效避免了画面扭曲、物体形变等生成失真问题。
- 多视角一致性：模型能够从不同角度生成同一场景的内容，并保证其在逻辑与外观上保持一致。这一特性对于构建可交互、可多角度观察的虚拟环境至关重要。
- 大规模数据支持：其强大功能的底层支撑是VerseControl4D数据集。该数据集涵盖丰富的动态与静态场景，提供了海量的几何监督信号，使模型具备了出色的泛化能力与鲁棒性。
VerseCrafter的技术原理
VerseCrafter实现精准控制的技术路径清晰而高效，其架构是对现有强大模型的创新性增强：
- 冻结的Wan2.1主干网络：模型以高性能预训练模型Wan2.1作为基础主干。此举直接继承了Wan2.1卓越的视频生成与泛化能力。在整个过程中，Wan2.1的参数保持冻结，如同一位技艺成熟的画师待命。
- GeoAdapter：控制信号如何引导这位“画师”？关键在于创新的GeoAdapter（几何适配器）模块。这个轻量级模块充当翻译官，将用户输入的4D控制信号编码为特殊的“多通道条件图”，并将其注入到Wan2.1的各个扩散块中，从而在不改变基础模型的前提下实现精准引导。
- 4D控制信号渲染：用户的轨迹指令需经渲染处理才能被模型理解。系统会将相机轨迹渲染为背景的RGB/深度图，将目标物体的3D高斯轨迹渲染为轨迹图。这些渲染后的图像是模型最终执行生成的条件输入。
- VerseControl4D数据集：技术落地依赖高质量数据。团队构建的VerseControl4D数据集，从真实世界视频中反推出相机与物体的运动轨迹，为模型训练提供了海量的“标准答案”，教会模型将抽象轨迹转化为符合物理规律的动态画面。
VerseCrafter的项目地址
研究人员与开发者可通过以下官方资源深入了解或体验VerseCrafter：
- 项目官网：https://sixiaozheng.github.io/VerseCrafter_page/（提供项目概述、演示视频与效果展示）
- GitHub仓库：https://github.com/TencentARC/VerseCrafter（获取开源代码、使用文档与更新日志）
- HuggingFace模型库：https://huggingface.co/TencentARC/VerseCrafter（支持在线体验或下载预训练模型）
- arXiv技术论文：https://arxiv.org/pdf/2601.05138（查阅完整技术细节与实验数据）
VerseCrafter的应用场景
VerseCrafter的精准动态生成能力，使其在多个前沿领域具有广泛的应用潜力：
- 虚拟现实（VR）与增强现实（AR）：构建沉浸式虚拟世界的核心在于动态内容的生成与交互。VerseCrafter能按需生成可探索的场景，通过控制视角与物体运动，大幅提升虚拟环境的真实感与交互自由度。
- 游戏开发：可用于快速生成动态背景环境，或设计游戏中物体的特定运动轨迹。它能优化视角切换效果，并降低传统关键帧动画的制作成本与周期。
- 视频内容创作：为广告、短片、电影及动画创作者提供强大的创意工具。以往需复杂3D制作才能实现的镜头运动，现在可通过轨迹控制快速生成，极大提升创作效率。
- 教育与培训：可用于创建高度逼真的历史场景复原、科学现象模拟或操作流程演示。学习者可通过控制视角深入场景，获得沉浸式学习体验，加深理解。
- 娱乐与媒体：为互动影视内容开发提供新可能。可用于制作“选择式”剧情视频，观众不仅能影响剧情走向，还能通过控制观看视角来改变叙事体验，开创全新娱乐形式。