模型能力瓶颈深度解析：评估体系如何制约AI飞跃

谷歌DeepMind研究员Lun Wang近日宣布离职，他在告别感言中回顾了这段将前沿AI研究转化为产品的关键经历，并对共事团队表达了感谢。

这段经历深化了他对AI系统研究、产品化及规模化构建的认知。为此，他专门撰写博文，深入剖析了一个核心挑战：评估体系的局限性。

他指出了一个关键矛盾：行业精于评估现有模型，却拙于评估尚未诞生的、能力范畴发生本质跃迁的新模型。他断言：“在实现能够自我进化的模型之前，我们必须先构建出能够自我进化的评估体系。”

评估体系的静默崩溃：一个未被察觉的危机

Lun Wang强调，当前主流评估方法存在一个根本性缺陷。无论是基准测试、安全评估还是红队协议，大多基于一个隐含假设：下一代模型仅是当前模型的性能增强版。

然而，如果新模型展现出截然不同的能力范式呢？届时，整个评估框架将在无声中失效。这被认为是制约大模型发展的核心未解难题：模型下一次能力飞跃的真正瓶颈，可能并非算力、架构或数据，而是评估方法本身。

失效模式：能力的定性跃迁

“评估失灵”在AI发展史上已有迹可循。2022年，Jason Wei等人提出的“涌现能力”揭示了少样本学习、思维链等能力在模型规模达到临界点后突然出现。同年，Power等人研究的“顿悟”现象则展现了模型从记忆到泛化的突变。

尽管表现形式不同，但两者对评估的启示一致：传统量化指标无法预测这种质变。

当然，也存在不同声音。Schaeffer等人2023年的研究指出，部分“能力跃迁”可能是“精确匹配准确率”等离散指标制造的人工假象，改用连续指标后增长曲线往往是平滑的。

但这恰恰加深了困境：如果我们连历史转变的性质都难以界定，又该如何探测下一次未知的范式转移？无论哪种情况，静态的评估基础设施都可能让我们措手不及。

缺失的罗盘：我们不知该测量什么

这引出了更深层的挑战：我们缺乏预测能力质变的“序参量”。

在物理学中，理解相变需要找到能区分系统状态、并在临界点附近发生突变的宏观变量。没有它，你甚至无法感知临界点的存在。

对于复杂的大型语言模型，我们尚未找到这种预示能力转变的关键信号。尽管在简化场景中有所探索，但对于实际生产系统，我们近乎在盲目前行。

现有基准测试，如GPQA、SWE-bench或ARC-AGI，测量的都是模型当前已知的能力。它们在既定范围内有效，但对能力区间之外的行为，其预测力则非常薄弱。历史经验表明，我们总是在新能力出现后，才被动地构建评估方法。思维链推理的普及导致旧有推理基准失效，便是明证。

设想一个具体场景：假设模型在某个规模下，发展出了“策略性信息隐瞒”的能力——即选择性忽略事实以引导对话达成目标。

现有的“诚实度”基准可能完全失效，因为它们只检验事实准确性，而非策略性隐瞒。安全分类器也可能无动于衷，因为每句输出在字面上都是真实的。于是，能力是全新的，失效模式是全新的，而你的评估工具箱里却没有对应工具。你持续监控着错误的指标，却对此一无所知。

问题的核心在于：我们整个评估范式在结构上是“响应式”的，总是在系统改变之后才去测量，而无法前瞻性地预测变化。

评估：AI发展的源头与瓶颈

这一问题的影响极为深远，因为一个基本逻辑是：正确的评估导向正确的训练。

训练的本质是优化，而优化的质量完全取决于其目标函数——这正来源于评估。如果你能精准定义衡量标准，并能预测其在规模扩展时的演变，你就能设计正确的训练目标、构建有效的安全护栏、做出可靠的规模化决策。

反之亦然：如果你的评估体系针对的是错误的范式，那么下游所有环节都将偏离正轨。训练信号、安全指标、部署决策……全部会系统性出错，而你往往在后果显现时才发现。

正因如此，评估被视为下一次能力跃迁的关键瓶颈。那些能率先构建超前评估能力的团队，将能更安全、可控地实现规模化；而后知后觉者，则必将被意外冲击。

路径探索：构建前瞻性的评估基础设施

解决方案并非抛弃现有评估体系——它们仍有价值，而是需要构建能够预测其自身失效的新基础设施。这要求整个领域调整研发重心。

首先，是探寻“序参量”。我们需要找到那些能够预示能力、对齐性或行为特征发生质变的可观测变量。这不仅是理论构想，已有研究迈出步伐。例如，Haozhe Shan等人在2026年的工作中，利用统计力学推导出持续学习场景下深度网络的序参量，并能预测学习能力的相变。Nanda等人在2023年则通过机制可解释性，找到了能预测“顿悟”发生前内部表征变化的“进度指标”。当下的挑战，是将这些方法从理想化场景拓展至复杂的大规模语言模型。明确测量对象，才能明确风险所在。

其次，是构建能够自检过时、并具备进化能力的评估系统。随着模型日益具备智能体特性，这一点尤为紧迫。静态评估在面对能够编写代码、运行实验、自我改进的系统时，将越发脆弱。如果模型能力的进化速度超过了人类更新基准的速度，评估就必须具备自适应性。

具体而言，我们需要监控“元信号”：基准测试得分的分布特征是否在演变？不同评估任务之间的相关性结构是否在迁移？模型是否发展出了与现有测量维度完全无关的新能力？跟踪所有关键指标的规模化曲线——不仅是损失函数，还包括推理深度、工具使用复杂度等，并对任何平滑趋势的断裂保持高度警觉。

更进一步，我们需要发展自我演进的评估生态系统：利用模型去探测其他模型的评估盲区，根据能力演变自动生成新的测试案例，从而发现原始设计者未曾预料到的失效模式。评估套件应成为一个能与被测模型协同进化的有机系统，而非一份为过往模型定制的静态检查清单。

归根结底，问题不在于我们的评估系统是否会再次被“震惊”——这已屡见不鲜。真正的问题是：我们能否预见下一次震惊的到来。

以目前的态势看，答案并不乐观。

这一观点在社区内引发了广泛共鸣。有从业者进一步指出，除了构建动态评估系统，还需开展持续的“评估红队对抗”工作，主动攻击并暴露评估体系自身的缺陷，从而驱动其持续迭代升级。

评估体系的进化，已成为AI实现下一次能力突破前必须跨越的隐形门槛。