Salesforce与威斯康星大学联合发布AI技能编排框架：智能体协同操作权威指南

这项由威斯康星大学麦迪逊分校与Salesforce AI Research合作的研究，已于2026年2月23日发布于arXiv预印本平台（论文编号：arXiv:2602.19672v1）。研究团队提出了名为“SkillOrchestra”的全新框架，旨在重构多AI模型协同工作的底层范式。

当前AI领域正经历一次关键转向：从依赖单一全能模型，转向构建由多个专精模型组成的协作系统。然而，如何高效协调这些各有所长的“AI乐手”，成为核心挑战。这一协调过程，即“编排”，其效能直接决定了复合AI系统的最终表现。

现有编排方法存在明显局限。多数方案如同僵化的指挥，必须在“演出”前固定所有流程，无法根据任务执行的实时状态动态调整。更严重的是，许多基于强化学习的系统易陷入“路由崩塌”——系统会反复调用同一个性能强大但成本高昂的模型，导致资源利用率低下，总成本飙升。

SkillOrchestra正是为突破这些瓶颈而设计。其核心洞见在于：高效的编排不应停留在粗糙的模型选择层面，而应深入至“技能”粒度。这好比一位资深指挥，不仅了解每位乐手，更能精准识别乐谱中每个段落所需的具体演奏技法。SkillOrchestra通过解析任务所需的具体能力，并匹配最擅长该能力且成本效益最优的AI智能体来执行。

一个更直观的类比是餐饮管理。传统方法如同提前为每位厨师分配固定菜式。而SkillOrchestra则像一位敏锐的餐厅经理，实时观察客流与反馈：当顾客青睐辛辣菜品时，立即调度川菜厨师；当需要精致甜品时，则启用糕点师。关键在于，它始终进行成本权衡——绝不会为制作一份薯条而动用三星主厨。

一、技能感知编排的核心理念

传统AI模型路由的逻辑接近简单分派：见到任务即指派给某个模型，既不深究模型的核心能力，也不解析任务的内在需求。SkillOrchestra则引入了“技能感知”的维度，其工作方式更像一位资深项目经理：先解构任务所需的专业技能组合，再从资源池中遴选匹配度最高的执行者。

这种差异源于对“技能”的定义深度。在SkillOrchestra框架中，技能被建模为一种可复用的能力抽象，它明确描述了在特定操作模式下完成任务所需的能力类型。例如，“编程”模式可能依赖“符号逻辑推理”技能，而“搜索”模式则更需要“多跳信息检索”能力。

这类似于管理一家高端厨房。传统方式是固定岗位（厨师A负责冷盘，厨师B负责主菜）。SkillOrchestra则深入分析每道工序：是否需要精准的火候控制？依赖复杂的刀工？考验对风味的层次理解？随后，根据厨师在这些细分技能上的专长档案进行动态指派。

技能感知方法带来三重优势：第一，实现状态感知的精细编排，系统能依据交互上下文实时调整模型选择；第二，确保路由行为的稳定性与均衡性，通过明确的技能建模，有效规避对单一模型的过度依赖；第三，形成可迁移的编排知识，构建完成的“技能手册”可作为通用能力地图在不同系统间复用，无需重复训练。

构建技能手册的过程，如同编纂一部专业的《能力图谱》。研究团队首先收集大量AI智能体的执行历史数据，类比于汇集菜谱与操作记录。随后，通过对比成功与失败的案例，逆向工程出导致结果差异的关键技能项。最终，系统为每个智能体建立详细的技能档案，记录其在各项技能上的熟练度与调用成本。

二、技能手册的构建与完善

SkillOrchestra的核心是一个动态演进的“技能手册”知识库。它类似于一套持续更新的人力资源专长档案系统，通过系统化的学习过程不断完善。

技能发现过程如同行为分析。系统收集智能体的执行轨迹，并对比同一任务下的成败案例。当面对相同查询与操作模式时，若智能体A成功而B失败，系统会分析两者间的能力差异，从而识别出完成此类任务所必需的特定技能。

例如，在处理复杂数学问题时，系统可能识别出“符号逻辑推理”与“数值计算”是两项独立的关键技能。这些发现被抽象为可复用的技能定义，录入核心手册。

建立智能体档案则是对个体能力进行量化评估。系统在各种操作模式下测试每个智能体在不同技能上的表现，并采用贝塔分布建模其成功概率——类似于通过多次测验评估学生在各科目上的掌握程度。每次任务执行后，档案都会依据结果进行更新。

技能手册还包含模式级别的执行洞察，这些洞察如同资深从业者总结的“最佳实践”。例如，系统可能学习到：“当任务涉及多个算术运算或聚合操作时，应优先切换至编程模式而非搜索模式”。

为防止技能划分过细或产生冗余，系统设置了手册完善机制。它会周期性地审查技能集合：若某个技能在智能体表现上方差过大，表明其可能包含多种子能力，系统会考虑将其拆分；反之，若两个技能的智能体表现档案在统计上无法区分，系统则会考虑将其合并，以优化结构。

三、帕累托最优的技能手册选择

并非所有编排系统都需要同样详尽的技能手册。如同经验不同的指挥家需要详细程度各异的乐谱，能力各异的编排系统也需要与其推理能力相匹配的技能手册版本。SkillOrchestra创新性地引入了帕累托最优的手册选择策略。

选择过程的核心，是匹配编排系统的“消化能力”与技能手册的“信息密度”。一个强大的编排系统或许能精准区分“符号逻辑”与“数值近似”这类细微差异，从而做出最优路由。但对于一个能力较弱的系统，过于细致的分类反而可能导致误判——例如，将需要符号推理的任务错误地路由给数值计算专家。

为此，系统会从完整的技能手册出发，生成不同颗粒度的候选版本。这如同从一张高精度地图中，衍生出不同比例尺的简化版本。

选择过程采用帕累托最优验证。系统在验证数据集上测试每个候选手册，评估使用该手册时，编排系统能达到的性能与成本效益。这不仅关注单次决策的准确性，更看重整个任务序列的成功率与总成本。

帕累托最优原则确保了最终选出的手册版本，在性能与成本之间达到了最佳平衡——类似于寻找“性价比”峰值，即在给定成本下追求最高性能，或在给定性能要求下实现最低成本。

这种策略有效考虑了编排系统的“认知负荷”。过于细致的技能分类可能导致决策延迟。通过选择适当粒度的技能手册，系统能在获得足够指导信息的同时，避免决策超载。

实验证实，不同的编排系统确实需要不同粒度的技能手册。能力强的系统通常能有效利用更细致的分类，而较简单的系统则在更宽泛的技能类别上表现更佳。这种个性化选择确保了每个系统都能发挥其最大潜力。

四、实时技能感知路由机制

SkillOrchestra在实际运行中的工作流程，如同一位经验丰富的艺术总监进行现场调度。其路由决策分为紧密衔接的两步：模式选择与基于胜任能力的智能体路由。

模式选择阶段，决定接下来采用何种操作范式。系统分析当前交互状态，结合技能手册中记录的模式级洞察，决定下一步应采取的操作模式。例如，若任务需要检索外部信息，则可能选择“搜索”模式；若需执行复杂计算，则可能启用“编程”模式。

这种选择基于手册中积累的经验模式。系统学会了在特定情境下应使用何种工具，就像工匠熟知何时使用刨子、何时使用凿子。

模式确定后，进入基于胜任能力的智能体路由阶段。这好比确定了曲目后，挑选最合适的独奏家。系统首先识别当前任务所需的“活跃技能”集合，然后根据技能手册中的智能体档案进行遴选。

选择过程遵循明确的性能-成本权衡公式。对于每个候选智能体，系统计算其在所需技能上的预期胜任概率，同时考量其调用成本。最终，选择能在满足性能要求的前提下，实现最佳成本效益的智能体。

具体计算时，系统使用贝塔分布的后验均值来估计智能体的胜任概率。对所有相关技能的估计值进行加权聚合，再减去模式特定的成本，得到最终的“效用分数”。效用最高者胜出。

这种机制的关键优势在于实现了动态负载均衡。与传统方法易导致的“路由崩塌”不同，SkillOrchestra根据具体的技能需求分配任务。简单任务不会占用昂贵的高端模型，而遇到复杂挑战时，最强模型也会被果断调用。

系统还会评估当前任务与智能体档案之间的语义对齐度。这种多层次匹配机制，确保了编排过程既精确又高效。

五、突破性实验成果与性能提升

SkillOrchestra的有效性通过一系列严谨实验得到验证。研究团队在两个核心场景下进行了测试：多轮模型路由和完整的智能体编排。

在多轮模型路由测试中，团队使用Qwen2.5-3B作为编排器，在涵盖知识问答、多跳推理和数学推理的十个基准数据集上进行评估。模型池包含了从7B到70B参数的不同规模模型。

结果显著。在一般性问答任务中，SkillOrchestra达到了47.4%的准确率，优于当前先进的Router-R1方法的41.6%。其最佳配置（SkillOrchestra+）更是达到了51.6%的准确率。

在数学推理任务上，优势更为突出。在MATH数据集上，SkillOrchestra准确率达55.8%，相比Router-R1的25.0%提升了30.8个百分点。在AMC23数据集上，提升幅度达22.5个百分点（从52.5%升至75.6%）。

成本效益分析揭示了另一大优势。SkillOrchestra通过智能的模型选择和更短的推理链，实际降低了总成本。例如，Router-R1为达到41.6%准确率花费了51.8美分，而SkillOrchestra以38.4美分的更低成本，实现了47.4%的更高准确率。

路由行为分析直观展示了SkillOrchestra如何解决“路由崩塌”。Router-R1有98.02%的调用集中在昂贵的LLaMA-3.1-70B上。相比之下，SkillOrchestra的路由分布均衡得多：Mixtral-8×22B被调用44.53%，Qwen2.5-7B为25.99%，LLaMA-3.1-70B仅占15.38%，其余由更轻量模型处理。

在完整的智能体编排测试（FRAMES基准）中，SkillOrchestra取得了84.3%的准确率，成本控制在72.7美元。相比之下，通过强化学习训练的ToolOrchestra准确率为76.3%，成本高达92.7美元。SkillOrchestra在准确率上领先8个百分点，同时成本降低21.6%。

值得注意的是，SkillOrchestra甚至超越了GPT-5、Claude Opus 4.5等强大的专有模型编排器。这证明，通过清晰的技能建模与智能编排，即使使用相对较小的开源模型，也能达到乃至超越大型专有模型的性能。

六、技能手册的可迁移性验证

SkillOrchestra最引人注目的特性之一，是其学习到的技能手册具备跨编排器的可迁移性。这如同将一本精心编纂的操作手册，交给不同经验水平的操作员，都能提升其工作效率。这种特性解决了传统强化学习方法的一大痛点：每次更换编排器或更新模型池，都需代价高昂的重新训练。

研究团队通过迁移实验验证了这一点。他们先用Qwen2.5-3B编排器学习技能手册，然后将该手册直接应用于Qwen2.5-7B、Llama3.1-8B等其他模型，无需任何额外训练。

结果一致且显著。原编排器Qwen2.5-3B的性能从40.7%提升至56.1%。当手册迁移到其他模型时，提升效果同样突出：Qwen2.5-7B从35.7%升至60.0%；Llama3.1-8B从35.5%升至58.0%；Mistral-7B从36.5%升至59.8%；大规模的Mixtral-8x22B也从46.5%提升到了61.3%。

这种一致的性能提升表明，技能手册捕获的是与特定模型无关的通用编排知识。如同一套优秀的管理方法论能被不同背景的经理人成功运用。

特别值得注意的是，能力更强的编排器模型在使用迁移的技能手册时，往往能达到更高的绝对性能。这说明技能手册与编排器能力是互补的：优质的指导能让有潜力的执行者发挥得更好。

这种可迁移性在实际部署中价值巨大。在生产环境中，模型池会频繁更新。传统方法每次都需要重新训练，而SkillOrchestra的技能手册可以立即适配新配置，极大提升了系统的灵活性与维护效率。

七、组件贡献度分析与系统优化

为深入理解SkillOrchestra各组件的作用，研究团队进行了详细的消融实验，如同拆解精密仪器以分析每个部件的功能。实验在100个随机选择的FRAMES任务上进行，系统性地测试了移除不同组件的影响。

结果清晰揭示了技能手册的核心价值。当完全移除技能手册时，系统准确率从85.0%骤降至71.0%，同时成本从9.3美元飙升至122.9美元。这表明，没有结构化的技能指导，编排系统不仅性能下降，还会严重浪费资源。

使用未经完善的原始技能集时，系统仍能达到79.0%的合理准确率，成本控制在5.5美元。这表明即使粗糙的技能分类也能提供有价值的路由信号。而启用技能完善机制后，成本进一步降至3.4美元，准确率维持在79.3%。这说明通过合并冗余与拆分模糊技能，能提升决策效率。

细致技能分类的重要性也得到验证。当禁用细致技能、仅使用宽泛类别时，准确率降至80.4%，成本升至15.1美元。这表明，适当的技能粒度对于精确编排至关重要，过于宽泛的分类无法提供足够的区分度。

最完整的系统配置（包含所有组件）实现了85.0%的准确率与9.3美元的成本，在所有配置中达到了最佳的性能-成本平衡。这证明了各组件间的协同效应。

这些实验揭示了一个重要原则：技能并非越多越好，关键在于找到与编排器能力相匹配的适当粒度。为不同水平的厨师提供详细程度不同的食谱，才能物尽其用。

组件分析还凸显了技能选择机制的价值。通过帕累托最优验证来选择合适的技能手册版本，系统能在不同的性能-成本权衡点中做出明智选择。这种个性化选择确保了每个编排器都能在其能力范围内达到最优。

这些发现对实际部署具有指导意义：完整的SkillOrchestra系统能提供最佳性能，但即使是简化版本也能带来显著改进，这为在不同资源与性能要求下的部署提供了灵活性。

SkillOrchestra代表了AI编排领域的一次范式转变。其核心是从“选择哪个模型”升级为“理解需要什么能力，并匹配具备该能力的执行者”。这种从粗放路由到精细技能编排的演进，标志着复合AI系统正走向更加智能、高效的新阶段。

其影响具有实际意义。企业无需为每个新任务重训整个编排系统，可以利用已有的技能知识快速适应。这种可迁移性与可扩展性，使得高质量的AI编排不再是资源密集型任务，更多组织能以可承受的成本获得先进的协调能力。

展望未来，随着AI模型日益专业化，技能感知编排的重要性将愈发凸显。后续研究可能会探索如何让系统自动发现新技能、处理技能间复杂依赖关系，以及在更大规模的模型生态中进行高效编排。

对应用层面而言，SkillOrchestra意味着更智能、更高效、成本更低的AI服务。无论是在客户服务、内容生成还是复杂数据分析中，这种基于技能感知的编排方法，都能让AI系统更精准地理解需求，提供更贴切的解决方案。这不仅是技术的进步，更是向着真正智能化的人机协作迈出的关键一步。

Q&A

Q1：SkillOrchestra是什么？

A：SkillOrchestra是由威斯康星大学和Salesforce联合开发的一个AI编排框架。它让多个AI模型能够像交响乐团一样协同工作。其创新之处在于，它不是简单地将任务分配给某个模型，而是会分析任务具体需要哪些“技能”，然后选择最擅长这些技能且成本合适的AI模型来执行，类似于根据菜谱需求挑选最合适的厨师。

Q2：SkillOrchestra比现有方法强在哪里？

A：主要体现在三个方面：1) 性能更高：在多项测试中准确率显著提升，尤其在数学推理任务上提升幅度惊人；2) 成本更低：通过智能路由，在保持或提升性能的同时大幅降低了总体使用成本；3) 解决了路由崩塌：能够均衡地利用不同规模和成本的模型，避免过度依赖某个昂贵模型，实现了更好的负载均衡。

Q3：技能手册可以在不同AI系统之间共享吗？

A：可以，这是SkillOrchestra的一大核心优势。一旦构建出技能手册，它可以被直接迁移到其他AI编排系统中使用，无需重新训练。实验表明，这种迁移能带来显著且一致的性能提升（提升幅度在15-24个百分点之间），这极大地降低了系统更新、维护和扩展的成本与复杂性。