京东全球首推全栈实时视频交互开源框架，实景AI应用评测

AI领域迎来一项突破性进展——实时视频视觉语言交互模型正式开源，彻底改变人机协作方式。

火灾发生瞬间，监控系统自动预警；独居老人摔倒，AI即时通知家属；视障人士借助智能眼镜实时描述环境。这些曾经只存在于科幻中的应用，正因AI技术的落地加速走进现实。

京东近日开源全球首个全栈实时视频视觉语言交互模型——JoyAI-VL-Interaction。其核心突破在于让AI从“一问一答”升级为“边看边说”。开发者借助该框架可快速构建具备持续观察、自主判断、即时响应能力的实景AI助手，真正让AI走出屏幕，作用于物理世界。

当前多数多模态模型仍局限于“一问一答”模式：用户上传图片或视频后提问，模型给出答案。这在图文问答、视频分析场景中足够，但一旦AI需介入实时物理世界，仅靠聪明不够，必须“在场”。真实世界瞬息万变，错过便无法弥补。

JoyAI-VL-Interaction赋予AI持续“在场”能力：边观察、边记录、边判断，关键时刻主动回应，或委托后台Agent处理。相较传统模型，三大突破如下：

主动判断，而非被动响应。传统模型需用户提问后才分析画面；JoyAI-VL-Interaction持续监控视频流，自主决定何时发言、何时沉默。例如设置“裁判出示红牌时提醒我”，模型会持续追踪，事件触发时自动预警，无需用户二次追问。

实时响应，而非事后复盘。传统视频理解需上传完整视频再分析，但安防预警、实时翻译、直播解说、操作指导等场景中，延迟数秒即导致体验与价值骤降。该模型面向实时视频流，画面变化即刻同步响应。

适时委托智能体，同时保持观察与交互。当模型遇到代码生成、工具调用、复杂推理等任务时，可委派后台大模型或Agent。前台模型继续监控现场，后台处理复杂任务后返回结果，自然衔接对话。这种“前台实时助手+后台智能大脑”的协作系统，有望开启人机协作新范式。

更关键的是，京东此次开源的不是单一模型，而是一整套系统架构。

在实时视频流中，JoyAI-VL-Interaction每秒进行一次判断：继续观察、保持沉默、主动回应关键事件，或移交后台Agent。“何时说话”不再依赖外部规则或定时触发，而是模型自主学习的能力。

实时交互中，会说话重要，会沉默同样重要。优秀的AI助手不应频繁打扰用户，而是知道何时出现、何时安静、何时自行解决、何时交由Agent处理。

多数开源模型仅提供基础推理能力，开发者需自行处理视频接入、语音交互、记忆模块、前后端协同等工程难题。而JoyAI-VL-Interaction开源完整技术栈，包括模型权重、交互数据集、训练方案及可部署系统。开发者可直接上手，大幅缩短从模型研究到实际落地的路径。

模型支持摄像头、直播流、监控流等多种视频输入，以及语音输入输出、可视化界面、长期记忆、后台模型接口和vLLM部署方案。ASR、TTS、可视化界面、后台模型、外部工具和业务模块均可按需替换。开发者可接入自有语音服务、Agent、API、业务系统或前端界面。

因此，JoyAI-VL-Interaction并非封闭产品，而是开放框架。既可用于研究，也可改造为安防监控、老人儿童看护、直播讲解、电商导购、操作指导、AI眼镜、无障碍辅助等各类实时AI助手。

评测中，JoyAI-VL-Interaction覆盖监控预警、实时计数、实时翻译、时间感知、直播导览解说等真实流式场景。在58个与视觉触发主动响应、实时性高度相关的真人盲评案例中，对比豆包视频通话助手，总体胜率77.6%；对比Gemini视频通话助手，总体胜率87.9%。尤其在监控预警场景中，对两个基线均取得100%胜率。这源于交互模型相较传统“一问一答”回合制模型的天然优势：自主交互性内置于模型内部，而非依赖外部触发。

今年以来，京东在模型基建上动作频频。3月开源基础大模型JoyAI-LLM Flash Instruct版本，打破参数内卷；4月开源图像模型JoyAI-Image-Edit，空间理解与编辑能力达世界一流；6月3日开源长视频生成模型JoyAI-Echo，推动长视频生成进入“所想即所得”时代。这些动作标志京东在上述领域已进入全球第一梯队。

从“一问一答”到“边看边记边回应”，从离线视频理解到实时流式交互，从屏幕内AI到物理世界AI——JoyAI-VL-Interaction的全栈开源，是京东将AI从数字推向物理世界的又一关键步伐。

京东深耕零售、物流、健康、工业等实体产业二十余年，拥有全球领先的物理世界运营网络，覆盖仓储、配送、门店、直播、客服、售后等海量真实场景。每天大量人、货、场的实时互动发生，对AI而言，这些不是抽象数据，而是进入物理世界的天然训练场与应用场，也为京东打造“全球最大物理世界运营中心”提供坚实保障。未来京东是否会让AI从千行百业走进千家万户？从当前势头看，可能性极大。