Agent质检员实战测评：错误率下降还是流程更乱？
工具调用是智能体（Agent）能力的基石，但当前实现远非可靠。选错工具、参数传递失误、或在应拒绝调用时强行执行——这些系统性问题频繁发生。主流解决方案依赖事后评估：在错误操作执行后，通过分析日志、调整提示词或重新训练模型来补救。这种方法的根本缺陷在于脱离了实时执行环境，无法在错误发生的临界点进行即时拦截与修正。
一个更优的架构思路是前置评估：在工具调用真正执行前设立一道“预检关卡”。由独立的审查智能体（Reviewer）对调用请求进行预先审核，提供反馈，甚至直接筛选最优方案。Apple近期的一篇研究论文正是将“评估”环节直接嵌入推理回路。这一构想看似直观，但核心挑战在于审查者自身也可能出错。其纠正的错误数量与引入的新错误数量，孰多孰少？这笔经济账必须精确核算。
问题：事后评估无法挽回已执行的错误
论文首先界定了工具调用智能体面临的三个核心挑战：准确选择工具、正确构造参数、以及识别“无合适工具可用”的场景。
现有主流方案分为两类。一是基于训练的方法（如GRPO），但这通常伴随高昂的算力成本和漫长的迭代周期。二是推理时方法（如Self-Refine、Reflexion），依赖智能体自我反思。然而，后者面临状态恢复的难题：一旦智能体执行了破坏性操作（例如误删而非更新闹钟），后续的自我纠正需要将完整的交互历史保留在上下文中。在多轮复杂交互中，这种成本将呈指数级增长。
因此，论文提出的解决方案是将评估环节前置：与其事后补救，不如事前预防。在工具调用被执行前就进行拦截与修正。
[Figure 1: 推理时反馈轨迹示例]反馈智能体（o3-mini）在工具调用智能体（GPT-4o）执行调用前进行评估。首轮提供反馈，次轮修订后的调用获得批准。
方案：双智能体架构与三种协作模式
论文设计了一个双智能体架构：一个主智能体（采用GPT-4o，负责生成工具调用）和一个审查者智能体（采用o3-mini或GPT-4o，负责审查）。主智能体无需重新训练或修改架构，仅需接收审查者的反馈。
为探索最优协作方式，论文测试了三种机制：
1. 渐进式反馈：审查者反复检查主智能体的响应，发现错误即通过系统消息注入反馈，主智能体据此修订，此循环最多进行N轮。
2. 选择器模式：主智能体使用不同的“温度”参数生成N个候选调用，由选择器一次性选出最优方案。
3. 评分器模式：与选择器类似，但评分器会为每个候选打出0.0–1.0的明确分数并附上理由，最终选取最高分方案。
[Figure 2: 反馈架构图]审查者智能体在执行前审查工具调用，发现错误则提供反馈让主智能体修订，循环直至通过或达到最大迭代次数N。
为精确衡量“纠错”与“引错”之间的权衡，论文定义了一组关键指标：
- 有益率：主智能体出错但被审查者纠正的比例。
- 有害率：主智能体原本正确却被审查者改错的比例。
- 收益风险比：有益率除以有害率。
这些指标直接回答了核心问题：引入审查者，究竟是带来了净收益，还是造成了净损耗。
首次实验遇挫：审查者过度“较真”
论文首先在BFCL（一个单轮工具调用基准）上测试了基础提示词版本，并使用GPT-4o作为审查者。结果仅在“无关调用检测”类别上观察到+4.7%的提升，其他类别几乎无变化。
排查发现，问题源于审查者：它将大量正确的工具调用误判为“不完整”。审查者期望看到一个面向用户的解释性回复，但BFCL基准仅评估工具调用本身的准确性，无需后续对话。高达23%的案例浪费在这种无意义的循环中。
[Figure 3: 审查者误判示例]审查者抱怨：“响应缺少面向用户的后续解释，说明天气信息的含义。”但BFCL仅评估工具调用准确性，不要求面向用户的解释。
于是，论文在第二版提示词中增加了明确指令：“仅包含工具调用的响应即为完整”。这一改动立竿见影，将多余循环的比例从23%降至8%。
推理模型 vs. 通用模型：3:1的收益风险比
仅优化提示词不够，审查者模型本身的能力更为关键。论文对比了不同模型作为审查者的效果，差异显著。
使用o3-mini（一款具备强化推理能力的模型）作为审查者时，它纠正了36.8%的主智能体错误，仅引入11.7%的新错误，收益风险比达到优秀的3.1:1。而使用GPT-4o作为审查者时，这一比例仅为2.1:1。推理模型所具备的系统化验证能力，使其在“无关调用检测”上表现更优，同时有害率也更低。
[Figure 4: 有益率与有害率权衡图]在BFCL Non-Live基准上，o3-mini取得了最佳平衡，3.1:1的收益风险比明显优于GPT-4o。
多轮复杂场景：性能显著提升，但副作用显现
为验证方法在复杂场景下的有效性，论文将其扩展至τ²-Bench基准。该基准模拟多轮、有状态、且包含特定领域策略的交互，覆盖航空、零售、电信三个领域。
在最优配置下，平均任务通过率从48.7%提升至55.8%（+7.1%），其中电信领域的提升尤为显著，从41.2%跃升至64.0%。
然而，对失败案例的分析揭示了新副作用：
审查者擅长捕捉策略违规（例如，订机票前必须先查询座位可用性），但它也将“过度啰嗦”类错误的比例从10%推高至27%。这同样是“过度怀疑”问题在多轮复杂场景下的复发。
在三种协作机制的对比中，渐进式反馈的表现普遍优于Best-of-N模式，平均高出3–8%。而Best-of-N选择器在某些领域甚至差于基线模型。原因在于，渐进式反馈能够显式定位并修正具体错误，而单次选择只能在已生成的、可能均不完美的候选方案中“矮子拔高”。
另一关键发现是：在单轮BFCL基准上调优的提示词，直接套用于多轮τ²-Bench，反而会引入新错误。这再次证明，单轮与多轮场景的评估标准和交互逻辑存在本质差异，提示词必须根据具体场景进行针对性优化。
自动化提示词优化：额外获取1.5–2.8%的性能增益
手工调整提示词存在上限。论文采用GEPA（遗传-帕累托提示词进化）方法进行自动化迭代：从第二版提示词出发，收集失败案例，由大语言模型反思并提出改进建议，循环直至收敛。
最终得到的第三版提示词比第二版长约4.5倍，加入了详细的错误判定标准、边界场景处理和错误检查清单。
提升最显著的是“并行多调用”类别（+2.1%）。这类任务需要协调多个并行工具调用并正确传递参数，自动化优化能够发现人工难以预设的复杂策略。
延迟代价：单轮场景6.2倍，多轮场景2.4倍
引入审查机制必然伴随延迟开销。
[Figure 5: 延迟分布对比]上图为BFCL单条调用延迟（对数刻度），下图为τ²-Bench单次任务时长。蓝色为基线，珊瑚色为加入审查者，虚线为均值。
在单轮场景下，延迟开销高达基线水平的6.2倍，这通常难以接受，因为基线本身仅是一次推理调用，审查完全是新增成本。而在多轮场景下，开销仅放大2.4倍——审查者的成本被分摊到了约40个交互回合中。数据显示，在BFCL上平均每条调用触发1.33次审查，而在τ²-Bench上每个回合仅触发0.96次（系统状态的保持降低了后续回合的不确定性）。
对于实际部署，论文给出明确建议：高吞吐的单轮调用场景需谨慎使用，或仅在不确定性高的样本上启用；而对于多轮、对准确性要求高的复杂工作流，引入审查机制则更具性价比；若工作流涉及昂贵的外部API调用，反馈机制甚至可能因避免错误调用而产生正向投资回报。
核心洞察与局限
本研究最关键的洞察，并非“加入审查者能提升几个百分点”这一结论本身，而在于它将审查者本身视为一个可独立优化、持续增强的组件：通过更换更强的推理模型、使用自动化方法优化提示词，未来甚至可将其蒸馏为轻量级分类器——主智能体无需任何代码改动，整个系统的可靠性便能持续叠加。
更核心的是“有益率-有害率”这对指标。它将“增加审查者是否值得”从一个模糊的直觉，转化为可测量的数值。当一个组件既可能灭火又可能放火时，仅看最终准确率是不够的，必须分别厘清它救了多少火、又点了几处新火。
当然，研究也存在明确局限：基础主智能体仅测试了GPT-4o，未在开源模型上验证；GEPA优化方法和有益/有害率指标仅在单轮BFCL基准上充分验证，多轮场景的自动化优化仍是未来方向。此外，审查机制带来的延迟开销，在实时性要求极高的场景下仍需仔细权衡。
原文标题：Reinforced Agent: Inference-Time Feedback for Tool-Calling Agents
原文链接：https://arxiv.org/abs/2604.27233