大模型真学习vs死记硬背：CL-bench权威榜单

这一数据确实令人警醒——十大前沿模型在上下文学习任务中的平均解决率仅为17.2%。换言之，当前最顶尖的AI系统在“即时学习与迁移应用”这一能力维度上，尚未达到及格门槛。

2026年2月初，腾讯混元团队联合复旦大学正式发布CL-bench（Context Learning Benchmark）。这是姚顺雨出任腾讯混元首席AI科学家后，团队公开的首项研究成果。

先厘清概念：CL-bench究竟测量什么？

简而言之，这是一套专门用于评估语言模型能否从上下文材料中“现场习得”新知识并正确应用的基准测试。传统评测如MMLU、HellaSwag，本质上是考察模型对训练语料的记忆程度——即“是否见过类似题目”。而CL-bench提出了截然不同的追问：模型究竟是真正掌握了新规则，还是仅仅依赖记忆提取？

该基准内含由资深专家精心设计的500个复杂上下文、1899个任务与31607条验证标准。其要求直截了当且相当严苛：模型在解决每个任务时，必须从当前给定的上下文中学习一个在预训练阶段从未出现过的全新知识，并准确将其应用于实际推理或操作中。

为确保纯净性，研究团队采用了严格的无污染设计。他们大量虚构了“平行宇宙”式的知识体系，对现实规则进行系统性改写，选材要么来自小众领域，要么完全是原创内容。例如，他们凭空编撰了一部名为《Sol Accord》（索尔协定）的星际法律——现实世界从未存在；又伪造了一套SkyNet无人机SDK，其中函数名与调用规则全部为虚构。若不给任何上下文，直接让GPT-5.1回答这些题目，正确率不足1%。此举彻底排除了“知识储备”的干扰，评测聚焦于纯粹的“学习能力”。

接下来，看看测试中AI需要扮演的四类角色。

第一类是法官：根据一部从未见过、长达2.3万字的虚构新法律，对一起真实纠纷案作出判决。第二类是程序员：用一门全新的编程语言写代码——例如基于刚设计出的语言规范，实现一个带时间条件终止的周期性程序。第三类是操作员：在陌生的流程系统里，依据全新产品手册，逐步完成任务。第四类是科学家：面对杂乱无章的实验数据，从头推导规律——比如分析300份原始实验日志，自行找出关系式并估算共振常数。

这四类场景几乎覆盖了真实工作中所有需要“即时学习与应用”的能力：阅读文档、掌握规则、遵循流程、发现规律。

那么，实际表现如何？

对10个主流大语言模型的测试结果确实令人失望。平均任务成功率仅17.2%，表现最好的GPT-5.1（在高推理强度下）也仅为23.7%。研究进一步揭示，模型普遍存在一个倾向：忽视或误用上下文中的信息，反而更依赖自身的预训练记忆。换言之，失败的主因并非推理能力不足，而是模型更习惯于调用“记忆”，而非进行“实时学习”。

在需要归纳推理的任务上，这一短板尤为突出。模型在“演绎型任务”——即按明确规则执行——表现显著更优；但在“归纳型任务”上，即从数据中自行总结规律，部分任务的成功率甚至低于10%。这表明当前AI更擅长“照章办事”，却不擅长“从案例中提炼模式”，而后者正是人类智能的核心能力之一。

为何这个问题值得高度关注？

因为它直接决定了AI在真实场景中的落地价值。实际业务中，绝大多数任务并非模型在训练数据中见过。企业可能刚更新了一本SOP手册、一份产品需求文档或一套内部规则——AI需要现场阅读、现场理解、现场执行。如果模型连这点都无法做到，它在生产环境中的实用价值将大打折扣。

CL-bench用17.2%这个数字，彻底戳破了一个常见幻觉：模型在考试中拿高分，并不代表它真的“理解了”。如研究结果所示，当前大模型在“长上下文”场景中的核心短板，并非读不全、找不到，而是“学不会、用不对、执行不了”。这一发现，给所有依赖上下文构建智能系统的工程实践敲响了警钟。

最后，介绍一下CL-bench项目本身。研究团队组织专家凭空虚构了多个平行宇宙的知识体系，平均每个上下文的标注耗时约20小时。他们的目标并非打造一个刷分榜单，而是创造一把能真正测量模型“学习能力”的标尺。上下文学习能力，很可能就是AI从“信息检索工具”迈向“真正智能体”的关键一步。而CL-bench，正是衡量这一步的标尺。

参考文献：腾讯混元团队 & 复旦大学. (2026). CL-BENCH: A Benchmark for Context Learning。