通用AI助手性能评测：卡内基梅隆大学揭示扩展极限与真实表现

2026年2月，卡内基梅隆大学语言技术研究所与Meta联合发布了编号为arXiv:2602.18998v1的研究论文。该研究推出了名为General AgentBench的基准测试平台，旨在解决一个核心评估难题：那些具备搜索、编程、推理与工具调用能力的AI智能体，在真实、复杂的通用场景中，其综合表现究竟如何？

现有的AI智能体评估多局限于特定领域，这好比仅凭厨师在意大利厨房的表现就断定其精通全球菜系。然而，真实用户需求是混合且动态的——他们期望同一个AI助手能在单次对话中连贯地完成资料查询、代码编写和逻辑推理。General AgentBench正是为弥合这一理想与现实间的评估鸿沟而设计。

该平台首次将各类工具与任务整合进一个统一环境，模拟真实应用场景。研究团队不仅测试了智能体的基础能力，更深入验证了“测试时缩放”策略的有效性，即通过增加计算资源（如延长思考时间、并行生成多个答案）来提升性能。实验结果揭示了一系列反直觉现象，对界定当前AI智能体的真实能力边界具有关键意义。

一、从专家到通才：AI智能体面临的现实挑战

传统评估体系存在根本性错位。它将智能体置于配备齐全的“专科医院”，而实际应用场景更接近资源有限、情况多变的“社区诊所”。后者的挑战复杂度呈指数级增长。

过往针对编程能力的测试提供完整IDE环境，网页浏览测试则配备专用浏览器模拟器。这种方法虽能精准衡量单项技能，却无法反映智能体在跨领域、多工具协同环境下的综合表现。

General AgentBench的创新在于，它基于模型上下文协议（MCP）构建了主机-客户端-服务器统一架构，集成了搜索、编程、推理和工具使用四大核心领域的301个可用工具。智能体面对的不再是分门别类的工具抽屉，而是一个共享所有工具接口的复杂环境。这如同将厨师置于一个拥有全球食材厨具却杂乱无章的超大厨房，考验的不仅是厨艺，更是信息筛选与决策能力。

这种设计带来了现实挑战：仅工具描述就可能占据数万个token的上下文空间，加之动态增长的用户查询和历史交互，整个对话极易进入长上下文范畴。这与静态的长文档理解测试截然不同，因为这里的上下文是持续演化、任务驱动的动态信息流。

二、性能大跌眼镜：通用环境下的表现实况

测试结果发人深省。当十个顶尖AI模型从熟悉的“专科”环境迁移至“全科”通用环境时，几乎所有模型的性能都出现显著下滑，平均降幅介于10%到30%之间。

Claude Sonnet 4.5展现了最强的环境适应力，平均性能仅微降0.2%。GPT-5在搜索和推理领域领先，但在复杂工具使用上遇到瓶颈。开源模型中，DeepSeek-V3.2的综合表现突出，甚至超越了部分商业模型。

一个普遍短板出现在BrowseComp任务上，该任务要求智能体在开放网络中寻找稀有且精确的信息。几乎所有模型在此表现不佳，暴露了当前AI在处理开放域、复杂信息检索时的根本局限。

值得注意的是，部分模型在通用环境中反而在某些领域表现更优。深入分析发现，这得益于“跨领域工具使用”的涌现能力。例如，处理搜索任务时，一些智能体不再局限于通用搜索引擎，而是学会了调用谷歌地图API、学术论文搜索API或机器学习模型库API。Claude Sonnet 4.5在26%的搜索任务中使用了此类专业工具。这种动态选择与组合工具的能力，是专门化测试中无法观测到的，也是通用评估价值的核心体现。

三、延长思考时间的迷思：序列缩放的意外发现

一个直观假设是：给予AI更多思考时间，其表现理应提升。这便是“序列缩放”策略。然而，实验结果与这一直觉相悖。

研究团队通过延长智能体与环境的交互历史来模拟更长的思考时间。但大多数模型的表现要么陷入停滞和波动，要么在达到某个阈值后性能开始不可逆地下降。

具体表现为两种失败模式：一是在推理任务中的“停滞波动”，智能体在窄幅区间内震荡，无法突破；二是在编程任务中的“饱和退化”，即性能先升后降，仿佛陷入负面循环。

根源在于“上下文天花板”现象。每个模型都存在一个有效的动态上下文处理长度阈值。例如，Qwen3-235B在搜索任务中的天花板约为112K token，Gemini 2.5-Flash约为96K token。一旦交互历史超过此阈值，额外信息非但无益，反而会干扰决策。这一发现挑战了“更多计算时间总是更好”的固有观念。

四、多管齐下的困境：并行缩放的验证差距

另一常见策略是“并行缩放”：同时生成多个答案（K个），然后从中选出最佳。理论上，这能提高命中正确答案的几率。实验数据证实，随着K值增大，正确答案出现在候选池中的频率（pass@K）确实提升了约50%。

但核心问题随之而来：智能体如何从这K个答案中识别出正确的那一个？这要求其具备准确的自我评估能力。研究测试了“逐一评估”和“两两比较”两种自我选择策略，结果均不理想。智能体的实际选择性能远低于理论上限，甚至在候选答案增多时性能反而下降。

这种现象被称为“验证差距”：生成正确答案的能力，与识别正确答案的能力之间，存在显著鸿沟。更反直觉的是，当使用更强大的外部评估器（如GPT-5）来替智能体做选择时，效果甚至不如智能体自我评估。这表明模型更擅长评估与自己推理模式一致的答案，存在“解决方案熟悉性”效应。因此，并行缩放策略的实际收益被其验证能力所限制。

五、架构决定命运：注意力机制的深层影响

研究中的一个意外发现，揭示了模型底层架构对性能的深刻影响。采用混合线性注意力机制的Qwen3-Next，在序列缩放测试中表现明显逊于采用全注意力机制的Qwen3-235B，尽管两者在其他方面相近。

注意力行为分析显示，全注意力模型拥有更广阔的“视野”，能关注到更久远的历史信息以辅助当前决策。而线性注意力由于其类似卷积的感受野限制，主要聚焦于近期上下文。在需要整合长期信息的复杂任务中，这种差异导致了性能分化。

进一步分析发现，全注意力模型的各层注意力头呈现出清晰的功能分化与整合模式，这种层次化的功能组织有利于复杂推理。线性注意力模型则缺乏这种清晰的结构。这表明，注意力架构的选择不仅关乎计算效率，更直接影响着模型的高级推理与规划能力。

六、跨领域工具使用的新发现

General AgentBench意外捕捉到了智能体创造性使用工具的行为。在统一工具环境下，智能体展现出了根据任务需求动态组合专业工具的能力。

一个典型案例是查找最新的Hugging Face文本分类模型。传统网络搜索需要多轮迭代且信息表面化。而表现优异的智能体会采用“组合拳”：先通过Hugging Face API按下载量排序获取模型列表，再辅以网络搜索了解新兴模型，最后调用模型信息API获取详细架构。三步即可完成深度查询。

这种行为超越了简单的工具调用，体现了一种“元认知”能力：智能体开始理解不同工具的特长与局限，并据此做出最优选择。这种在真实、复杂场景下涌现的能力，是评估通用智能体的关键指标。

七、静态测试与动态应用的鸿沟

研究还指出了一个关键问题：传统的静态长上下文测试（如长文档问答）与动态智能体应用之间存在巨大差异。前者上下文固定，交互单一；后者的上下文由任务指令、工具文档、执行结果和历史决策动态混合而成，对模型的综合理解与规划能力要求完全不同。

对比十个模型在传统长上下文基准与General AgentBench上的表现，两者相关性极低。这意味着，一个在静态文档理解测试中表现优异的模型，未必能成为好的AI智能体。唯一的例外是MRCR基准与推理任务呈现中等相关，因为两者都涉及多轮信息提取。

这警示我们，依赖传统基准测试来预测模型在智能体应用中的表现是危险的。必须发展出更贴近真实交互场景的评估方法。

八、模型间的表现差异与特点

综合评估揭示了各领先模型的独特画像：

• Claude Sonnet 4.5：整体鲁棒性冠军，跨领域工具使用能力强，序列缩放下表现稳定。
• GPT-5：搜索与推理领域的王者，但在需要精细参数控制的复杂工具使用上存在短板。
• DeepSeek-V3.2：开源模型的佼佼者，综合表现亮眼，展现了稀疏注意力架构的潜力。
• Qwen系列：Qwen3-235B表现均衡，自我选择能力较好；Qwen3-Next受线性注意力所限，在长依赖任务中吃力，但计算效率高。
• Gemini 2.5系列：Flash版效率高，Pro版在复杂推理上更强，但通用环境适应性均有提升空间。

这些差异是模型在架构设计、训练目标和数据偏好上做出不同权衡的结果，也为实际应用中的模型选型提供了直接参考。

这项研究为我们勾勒出AI智能体发展现状的清晰图景：潜力巨大，但挑战严峻。从专门化到通用化的性能衰减表明，实现真正的通用人工智能任重道远。更关键的是，两种直觉上有效的性能提升策略（延长思考、并行生成）在实际中都遇到了“上下文天花板”和“验证差距”等根本性限制。

同时，研究也带来了希望。跨领域工具使用能力的涌现证明，在更逼真的评估环境中，AI能够展现出意想不到的创造性和适应性。这强烈提示，未来的AI评估必须跳出简化的基准测试，拥抱更综合、更动态的真实场景模拟。

这项工作的意义，不仅在于揭示了局限，更在于指明了方向：未来的研究需要聚焦于提升智能体的上下文管理、推理稳定性及自我评估能力，并设计更有效的测试时缩放策略。技术细节的完整阐述，可参阅论文arXiv:2602.18998v1。

Q&A

Q1：General AgentBench与传统AI测试有什么不同？

A：根本区别在于环境集成度。传统测试是“分科考试”，只提供特定领域的工具。General AgentBench则是“综合实践”，将301个工具置于统一环境，智能体需自主选择与组合，这高度模拟了真实、复杂的用户场景。

Q2：为什么给AI更多思考时间反而表现变差？

A：核心原因是“上下文天花板”。每个模型处理动态上下文的能力存在硬性上限。当交互历史超过这个限度，额外信息会变成噪音，干扰而非辅助决策，导致性能下降。

Q3：AI智能体的跨领域工具使用能力如何？

A：表现出色的智能体已能进行创造性的工具组合。例如，不再只用通用搜索引擎，而是根据任务调用地图API、学术搜索API等专业工具。Claude Sonnet 4.5在超过四分之一的搜索任务中展现了这种能力，这标志着智能体向更灵活、更贴近人类问题解决方式迈进了一步。