英伟达与发那科AI机器人仿真技术深度合作解析
发那科与英伟达宣布深化战略合作,核心在于将其机器人仿真软件RoboGuide与英伟达的开放式机器人仿真平台Nvidia Isaac Sim进行深度融合。此次合作旨在构建一个高保真度的数字孪生系统,为虚拟工厂的规划与调试提供前所未有的直观性与精准度。
这一深度集成的雏形在去年东京国际机器人展上已初露端倪。当时展示的技术实现了将RoboGuide中创建的运动程序导入Isaac Sim,并调用真实机器人的控制算法驱动虚拟模型,精准复现其运动轨迹与节拍。如今,双方宣布集成能力再进一步,两套系统的协同更为紧密,为机器人测试与虚拟调试打造了一个实用性更强、效率更高的仿真环境。
两种集成模式,各有侧重
这种深度集成具体如何实现?目前主要提供两种模式,以适应不同的工程应用场景。
第一种模式以Nvidia Isaac Sim作为主操作界面,发那科RoboGuide则在后台提供核心的机器人控制逻辑,确保虚拟机器人的每一个关节运动都精准无误。两套系统保持实时直接通信。
在此模式下,操作员甚至可以通过连接在RoboGuide上的虚拟或实体示教器,如同操作真实发那科机器人一般,在Isaac Sim的虚拟空间中实时控制机器人。点动、编程、程序验证等所有操作均可在Isaac Sim内直接完成。这使得工程师能够在GPU加速、物理精度极高的传感器与环境仿真中,高效进行机器人安装前的工艺设计与可行性研究。
更重要的是,通过进一步整合英伟达的Isaac Lab机器人学习框架与Omniverse库,一些过去仿真中难以处理的复杂任务——如线缆等柔性物体的处理、精密插入装配——现在都能实现高精度模拟。在Isaac Sim中运行的机器人,其运动轨迹与节拍时间能与真实机器人保持一致,有效弥合了仿真与现实的差距。该联合环境还支持强化学习与模仿学习,为物理AI系统的快速评估与部署奠定了基础。
第二种模式则调换了主次,以发那科的RoboGuide作为主界面,后台则由英伟达强大的Nvidia PhysX物理引擎提供支持。此次集成让RoboGuide接入了PhysX,从而能够对料箱拣选等此前仿真精度不足的复杂任务进行精确模拟。
系统通过基于物理的建模,真实还原箱内随机散乱堆放的零件状态。同时,RoboGuide自带的3D视觉系统会识别每个零件的位置,引导虚拟机器人完成精准抓取与放置。甚至真实工况下的复杂场景——如机器人抓取特定零件失败后自动切换备选方案——都能在虚拟环境中完整复现。
这项进展的核心价值在于,用户现在完全可以在虚拟环境中完成整套料箱拣选系统的可行性验证,无需依赖大量实物零件进行耗时耗力的现场试错。借助Nvidia PhysX的加持,RoboGuide显著提升了此类系统的设计与部署效率,而这一过程在过去往往需要投入大量时间与专业现场支持。
看机器人如何“学会”叠衣服
除了软件平台的融合,发那科在硬件与AI结合上也展示了前沿应用。在近期的开放日展会上,他们展示了一套由两台CRX协作机器人组成的双臂系统。该系统的“大脑”基于英伟达的开放式机器人基础模型Nvidia Isaac GR00T N,通过模仿学习掌握了一项对人类而言都颇具灵巧性的任务——折叠T恤。
折叠T恤这类柔性物体的难点在于,物体形态在整个过程中持续变化,传统的“示教再现”或简单的视觉路径补偿难以应对。机器人是如何习得这项技能的?
演示中,操作人员先亲自操控CRX机器人完成一次折叠任务,该过程被系统完整记录。通过模仿学习,双臂CRX系统从这次示范中习得技能并能够自主复现。关键在于,借助模仿学习实时生成的运动指令,CRX机器人能够一边通过摄像头对T恤进行视觉识别,一边自主调整动作,完成折叠。
以往,基于模仿学习生成的机器人动作往往不够连贯,甚至存在分段与抖动。此次,发那科将其先进的运动控制技术与Nvidia GR00T N模型相结合,最终输出了流畅、连续的动作。参观者可现场目睹双臂机器人流畅、自主地完成叠T恤的全过程。
算力升级,避障更敏捷
还记得去年东京展上那台“能主动避让人类的AI机器人”吗?它基于发那科的机器人开放平台打造。如今,该系统迎来了关键升级——搭载了英伟达最新的机器人计算平台Nvidia Jetson Thor。
具体而言,系统将原有的Nvidia Jetson AGX Orin计算模块替换为性能更强的Jetson T5000模块。这一更换带来的AI算力提升超过了7.5倍。在展会现场,参观者可以亲身体验到,依托Jetson Thor的强大性能,这台机器人能够以更快的响应速度、更流畅的动作轨迹感知并规避人员的移动,在人机安全协作方面表现更为出色。
五月展会,亲身体验未来
若对上述技术感兴趣,即将到来的五月发那科新品展览会将提供绝佳的亲身体验机会。参观者将有机会亲眼见证并互动体验:在虚拟空间中实时操控机器人、高精度仿真模拟、基于Nvidia PhysX的物理仿真演示、由英伟达机器人基础模型训练的双臂机器人模仿学习,以及搭载最新边缘计算平台的协作机器人系统。
Q&A
Q1:发那科与英伟达的集成有哪两种模式?分别有什么特点?
A:第一种模式以Nvidia Isaac Sim为主操作界面,RoboGuide在后台确保控制精度。用户可通过示教器实时操控虚拟机器人,该模式支持模仿学习与强化学习,致力于消除仿真与现实的差距。第二种模式则以RoboGuide为主界面,后台接入Nvidia PhysX物理引擎,能高精度仿真料箱拣选等复杂任务,让用户能在虚拟环境中完成系统验证,大幅减少实物试错成本。
Q2:双臂CRX协作机器人是如何学会折叠T恤的?
A:核心在于模仿学习。先由操作人员操控CRX机器人进行示范,系统从中学习技能并复现。结合发那科的运动控制技术与Nvidia Isaac GR00T N基础模型,机器人能实时生成流畅连续的动作,并通过视觉识别T恤形态变化,自主完成折叠,解决了柔性物体处理中的动态调整难题。
Q3:升级后的避障机器人相比之前有哪些提升?
A:主要提升在于计算核心。机器人从搭载Nvidia Jetson AGX Orin升级为Jetson T5000模块,AI算力提升超过7.5倍。这使得机器人感知环境、规划避障路径的速度更快,动作更流畅,现场参观者可直观体验其增强后的实时避障能力。
