对话孙宇教授：大语言模型在机器人任务规划中的前沿应用与挑战

在工业自动化领域，机器人“四大家族”的技术积淀深厚。然而，当场景切换至日常生活，服务型机器人的发展历程则短得多，其面临的挑战也更为复杂。

以烹饪为例，厨房环境的复杂度远超结构化生产线。火候的精准控制、食材的千变万化，这些高度依赖人类直觉与经验的环节，曾长期制约着烹饪机器人的发展。但变革正在发生。2022年北京冬奥会的智慧餐厅已展示了烹饪机器人的潜力，它们能够熟练处理中西餐品。市场数据同样指向增长：预计到2026年，全球机器人烹饪设备市场规模将突破1亿美元，年复合增长率接近20%。

这一趋势的加速，得益于一项关键技术——大语言模型的突破性进展。随着模型规模、训练数据与算力的指数级增长，大模型不仅提升了自然语言理解与生成的质量，更展现出“涌现能力”。正是基于上下文学习、指令遵循与链式推理等涌现特性，大语言模型正成为机器人任务规划领域一项强大的新工具。

南佛罗里达大学孙宇教授在机器人领域拥有超过二十年研究经验。其领导的机器人感知与行为实验室（RPAL）长期致力于让机器人理解并执行复杂指令。团队早在2015年便开始探索知识图谱在任务规划中的应用。自去年起，他们开始将大语言模型整合进烹饪机器人的规划系统，相关成果已发表于《人工智能与机器人研究国际期刊》（IJAIRR）。

基于知识网络的机器人任务规划

机器人任务规划的核心，是为机器人生成一套能在动态环境中安全、高效、准确执行的行动序列。这需要综合考量机器人本体能力、任务目标与环境约束，例如路径避障、动作序列优化以及行为可解释性。

孙宇教授团队依赖一个名为“面向功能对象网络”（FOON）的知识系统。FOON如同机器人的结构化烹饪百科，通过解析在线视频与文本，学习并存储各类食材、厨具的功能与操作关联。经过人工校验后，FOON能提供高可靠性的规划方案：对于已知任务，其规划准确率达100%；对于相似任务，也能给出高度可信的参考。

然而，知识系统的固有局限在于其封闭性。一旦面对完全超出其知识图谱的新颖任务，传统系统便难以应对。这正是大语言模型能够切入并补足的关键环节。

如何规划一个知识库中完全不存在的任务？

当烹饪指令完全超出知识库范围时，机器人应如何应对？孙宇教授与Sadman Sakib博士的研究提出了解决方案：融合大语言模型的创造性联想与知识网络的可靠性验证，实现优势互补。

他们的方法颇具巧思。接收到用户指令后，研究团队通过精心构建的提示词，引导GPT-4生成多个高阶任务规划草案，并以“任务树”形式呈现。每棵树代表一种可能的执行路径，在资源消耗、步骤并行度与操作风险上各有权衡。

随后，利用一个“图合并器”将这些任务树融合为统一网络。通过对比分析，系统会剔除不可靠的节点（如成本过高的步骤），并将筛选后正确、高效的组件重新整合，最终输出一个优化后的解决方案。这一流程显著提升了规划的准确性与执行效率。

当然，机器人无法直接执行高阶描述。此时，GPT-4需充当“编译器”，将自然语言描述的最优计划，转译为PDDL规划语言描述的低阶可执行序列，从而把“制作一碗面”的指令，分解为“抓取酱油瓶”、“向锅中倾倒10毫升”等原子动作。

更具启发的是，研究发现了合并规划树的创新价值。当将多个食谱对应的任务树合并成一个网络时，不同菜系的烹饪步骤与技巧相互交融，能够催生出全新的菜品流程。这意味着，该系统不仅能够复现经典，更具备创造新颖菜品的潜力。

大语言模型与知识网络的相互补充

本质上，大语言模型与FOON知识网络构成了理想的互补架构。以GPT-4为代表的大模型，能从开放域数据中学习并生成规划，想象力丰富，但其输出缺乏验证，准确性存疑。而FOON中的规划节点经过人工标注与校验，可靠性极高，但知识覆盖范围有限。

因此，最佳的协作范式是：利用大语言模型生成多个（可能包含错误的）任务树草案，再借助FOON的结构化知识对其进行合并、校验与修正，用已知正确的功能单元替换错误部分，从而在拓展创新边界的同时，确保规划结果的坚实可靠。

该方法具备良好的泛化性能，其应用远不止于烹饪机器人。经过少量适配或无需调整，它即可为多种服务与工业机器人场景生成最优任务计划。

当前研究仍面临挑战，核心之一在于任务执行失败时的自主纠错能力。当规划出错或遭遇突发故障时，如何让机器人自主诊断并恢复至正确流程，是迈向更高自主性的关键。孙宇教授团队未来的工作将聚焦于环境反馈集成，尝试让机器人结合视觉感知与大语言模型，实时更新环境状态，减少人工干预，实现更强大的自主应对能力。