新南威尔士大学研究：AI大模型知识更新与保留的平衡策略深度解析

这项由新南威尔士大学团队主导的研究（arXiv:2603.27481v1，2025）直面大型视觉语言模型持续学习中的一个核心瓶颈：如何在吸收新技能时，稳固保留已掌握的知识。

设想一个精通图文的多模态AI助手。它首先被训练用于科学问答，随后扩展至图像文字识别，继而学习动物分类，再掌握地理知识。理想状态下，它应能无缝调用所有技能。然而现实是，学习新任务常导致对旧任务的“灾难性遗忘”，如同学会了吉他却遗忘了钢琴指法。这成为制约模型迭代与部署的关键障碍。

新南威尔士大学的研究揭示了这一问题的微观机制：模型内部的“路由漂移”。本质上，模型在处理信息时出现了决策混乱。

一、问题的发现：当AI助手遭遇“选择困难症”

为应对遗忘，当前主流方案采用“专家混合”架构，即让不同子模块（专家）专精于不同任务。但研究发现，负责分配任务的“路由器”在新任务训练中会失效。实验表明，本应由原有专家处理的信息流，被错误地导向了新加入的专家。新专家因缺乏相关经验，导致整体性能滑坡。

深入分析发现，信息单元的影响并非均等。研究将其分为三类：携带新模式的“新信息”、与旧任务高度相似的“旧信息”，以及处于新旧知识边界的“模糊信息”。控制实验证实，“模糊信息”是导致路由混乱和遗忘的主因——它们对新任务学习贡献有限，却严重干扰路由器的判断。

二、创新解决方案：建立智能的信息分配机制

基于此，团队提出了LLaVA-DyMoE框架。其核心是构建一个精准的令牌级信息分配系统，确保每项任务由最合适的专家处理。

第一关键组件是“令牌分配指导机制”。它如同一个智能过滤器，量化每个信息单元对不同专家组的偏好，并计算其“模糊度”。偏好差异不明确的信息被判定为模糊信息。系统通过对比信息单元对新旧专家组的最高关联分数来执行分配：仅明确偏向新专家且模糊度低的信息才会被分配给新专家；所有模糊信息则被安全地导向旧专家，避免污染新专家的训练。

第二组件是“路由评分正则化机制”，包含两个子机制：“独占性损失”防止信息同时激活多个专家，确保决策清晰；“专业化损失”则鼓励系统有效利用新专家，促进新知识吸收。二者协同，平衡了知识保留与获取。

三、实验验证：理论与实践的完美结合

研究在包含八个视觉问答任务的CoIN基准上进行了顺序学习评估。模型依次学习各任务，且无法回顾旧数据。

结果证实了框架的有效性：LLaVA-DyMoE的最终准确率达到57.03%，较基线（49.68%）提升7.35个百分点。平均准确率提升8.20个百分点。最关键的是，遗忘率从基线的-16.67%大幅改善至-4.67%。消融实验进一步表明，令牌分配指导机制是抑制遗忘的关键，而路由评分正则化机制有效促进了新任务学习。

四、技术深度解析：从理论到实现的全过程

LLaVA-DyMoE基于动态专家混合架构实现。引入新任务时，系统添加新的LoRA专家模块并扩展路由器，同时冻结所有旧参数，确保知识隔离与架构可扩展性。

令牌分配指导机制通过数学公式计算信息单元对新旧专家组的最大关联分数，并据此得出模糊度指标。超过阈值的即被标记。实际分配采用二元掩码逻辑，确保条件严格。

路由评分正则化机制中，独占性损失通过最小化新旧专家激活度的乘积来实现；专业化损失采用自适应目标，根据旧专家的激活情况动态调整对新专家的使用激励。整个训练通过统一的损失函数整合任务学习、负载平衡及新提出的正则化损失。

五、广泛适用性：兼容多种学习范式

该框架的显著优势在于其兼容性。它能与现有持续学习范式（如数据重放、任务级路由）无缝结合，产生协同效应。

与数据重放结合时，遗忘率进一步降至-1.55%。与任务级路由组合后，最终准确率提升至60.02%，遗忘率仅为-1.73%。该方法在7B至13B参数规模的模型上均表现稳定，展现了良好的可扩展性。

六、深入分析：为什么这种方法如此有效

LLaVA-DyMoE的成功源于其精准的问题定位。它将焦点从宏观的架构或参数调整，转向微观的令牌级路由漂移治理。

通过对模糊信息的精准识别与隔离，它从根本上切断了导致路由混乱的源头。双重正则化机制则从系统层面优化了资源分配与学习动力。该方法计算高效，仅增加约4.4%的训练时间，且不影响推理速度，具备很高的实用价值。

七、实际应用前景：从实验室到现实世界

该技术为需要持续更新的AI系统提供了实用方案。例如：

• 企业智能客服：在持续学习新产品与政策时，不遗忘历史问答能力。
• 个性化教育平台：逐步扩展学科知识，同时稳固已构建的学生知识图谱。
• 医疗AI助手：持续整合新的疾病研究与治疗方案，并保持对基础医学知识的精确理解。
• 多语言/跨文化模型：有序扩展语言与文化知识库，避免新旧能力相互干扰。

LLaVA-DyMoE通过解决令牌级的路由决策问题，为构建稳定、可持续进化的多模态AI系统提供了新的技术路径。

Q&A

Q1：LLaVA-DyMoE框架是如何识别和处理模糊信息的？

A：框架通过计算每个信息单元（令牌）对新旧专家组的路由关联分数来工作。它比较该单元对两组的偏好差异，若差异低于设定阈值，则判定为模糊信息。这些模糊信息会被强制分配给旧专家处理，从而避免其误导新专家的训练过程，有效遏制路由漂移。

Q2：这个框架相比传统方法有什么明显优势？

A：核心优势有三点：1) 显著降低遗忘，遗忘率从-16.67%改善至-4.67%；2) 提升综合性能，平均准确率提升超过8个百分点；3) 计算开销低，仅增加约4.4%的训练时间，且不影响推理效率。此外，其模块化设计允许与数据重放等其他技术叠加，获得进一步增益。

Q3：LLaVA-DyMoE适用于哪些实际应用场景？

A：它尤其适用于需要AI模型在线更新、增量学习的场景。例如，商业领域的智能客服与推荐系统、教育科技的个性化学习助手、医疗领域的辅助诊断工具，以及需要不断扩展语言或垂直领域知识的专业模型。其高效性与兼容性降低了持续学习的部署门槛。