LLM Agent性能归因：信息访问与推理能力对比评测

LLM Agent的能力上限究竟在哪里？这个问题正变得越来越棘手。表面上看，它们确实愈发“机敏”，能够自主设计方案、评估反馈、反复迭代。但当你逐一剖析这些步骤，一个核心的疑虑便会浮现：系统性能的提升，究竟归功于推理能力的增强，还是仅仅因为输入信息的丰富程度发生了变化？

当前的优化框架极少将“信息暴露”——即Agent能获取到的内容——当作一个可控变量来设计。上下文引入方式大多基于启发式方法，依赖提示工程、工具集成或系统架构决策。这导致一个归因难题：不同Agent系统间的性能差异，很可能源于信息访问权的不同，而非推理能力的强弱。换言之，同一模型获取更多信息，并不代表它更聪明，反而可能只是条件反射更充分了。

一个关键因子在大多数Agent优化框架中被忽略了：LLM所能使用的上下文总量究竟是多少？任务说明、评估指标、参数约束、历史优化记录——这些因素直接塑造了Agent对环境的认知，也影响后续如何生成配置。若不控制上下文，你永远无法判断Agent是在进行推理，还是在对输入信息做条件反射。

ContextEval

基于这一逻辑，ContextEval被设计成一个受控评估框架。其目标并非优化提示本身，而是系统性地改变Agent允许看到的上下文内容，进而观察这一单一变量对优化行为的影响。

该框架选取的核心任务是超参数优化（HPO）。寻找最优超参数通常是一个缓慢的人工过程，网格搜索便是典型代表。但如果让一个LLM扮演自主工程师的角色——提出配置、观察结果、根据选择性透露的信息调整下一步猜测——它的表现会如何？实验在四个机器学习基准的超参数空间中测试Agent的表现，目的只有一个：厘清优化过程中哪些信息真正起作用。

给LLM更多信息，到底能否改善优化效果？还是说，它仅仅改变了行为模式，而未在真正推理上取得实质进展？

测试方法

核心变量：上下文可见性与“上下文策略”。实验固定模型（GPT-4o-mini）和任务，沿四个正交维度改变上下文：

• 任务描述：直接引用Kaggle竞赛规格说明原文。
• 指标暴露：是否公开数学评估规则。
• 参数边界：是否明确给出搜索空间约束。
• 反馈深度：历史记录长度，1步还是5步。

由此构建出一个包含16种上下文策略的全因子网格。每种策略定义了Agent在每一步的信息可见范围，四个基准逐一评估。

起始条件的控制同样至关重要。Agent是否真的“智能”，起始配置不能过于理想——一个足够好的起点会掩盖推理能力的不足。实验采用Sobol采样（256种配置）对每个任务的性能曲面进行特征化，然后选取三个分层的起始点：低质量（“Broken”，底部20%）、中等（“Average”，中间区域）、高质量（“Pro”，顶部20%）。

性能衡量指标为归一化遗憾值（Normalized Regret），即与最优配置间的标准化距离。用以区分：Agent是真正实现了优化进步，还是仅仅修正了一个糟糕的起点。

结果

实验结论高度一致：Agent能看到什么，比它如何推理更重要。

初始化占主导地位。成功的最强预测因子并非Agent采取了何种行动，而是它从哪个配置出发。起点较差的Agent会快速改善，但很快触及上限；起点接近最优的Agent改善幅度极小，在NOMAD基准上甚至出现了退化。简单来说，Agent的行为更像一个纠错系统，而非一个优化器。

反馈深度悖论与初始化的交互效应。提供更长的历史信息（fd=5 vs. fd=1）在所有基准上持续恶化性能，归一化遗憾值上升，在Jigsaw上尤为突出。连续的低分记录会像锚点一样固定Agent，压缩探索空间，阻碍恢复。这说明更多信息并未改善推理，反而常常构成约束。差起点下效果最为显著——负面反馈层层累积；强起点下差异可忽略不计。

可行性 vs. 优化质量。加入参数边界后，无效提议减少了96–100%，但最终性能并未改善。遵守规则和在该规则范围内进行优化，完全是两回事。

与随机搜索的对比。LLM引导的优化并不稳定地优于随机搜索。在Jigsaw——最复杂的基准之一——上，一个盲目选取配置的算法，性能竟然超越了拥有完整上下文和优化历史的LLM。换句话说，在复杂场景中，无信息的随机探索可以胜过基于LLM引导的优化。

任务上下文的影响。提供任务描述带来的收益有限，且可能增加不稳定性。性能看起来更多由预训练先验驱动，迭代推理的贡献其实不大。Agent能快速纠正明显较差的配置，但对已经不错的配置毫无办法。

Agent更智能了，还是只是“信息更充分”？

LLM高度依赖上下文线索来激活预训练先验。收到任务描述或指标信号时，它们更多是从训练数据中推断“合理的”超参数范围，而不是根据观察到的反馈做真正的推理。实践中，Agent的行为模式更接近带反馈的先验驱动启发式方法，而非搜索算法。

Agent能修复糟糕的配置，但难以在好的配置上做出有意义的改进。约束被遵循了，但约束内的优化却没有发生。明显的参数会被调整，而敏感参数（如学习率）则处理得过于保守。

最关键的一点是：Agent往往跑不过随机搜索，在复杂任务上尤其明显。这不是推理，而是部分信息下的模式匹配。

框架的意义

ContextEval将信息暴露作为一个可控变量纳入LLM Agent评估。隔离上下文之后，我们至少可以判断：性能提升究竟来自推理，还是来自有用元数据的获取。这对于改进热启动策略、提升Agent评估的可靠性、厘清跨系统比较的基础都有直接帮助。

更深层的启示在于：未来的基准测试应将上下文可见性作为核心实验因素加以报告。缺少这一维度，LLM Agent的能力边界很容易被高估。

对AI评估的启示

不报告上下文可见性的基准测试结果就是不完整的。一个在完整上下文下表现良好的Agent不一定更聪明——它可能只是拿到了更多信息。