数学家苏炜杰加盟OpenAI:破解Scaling Law瓶颈的深度解析
大模型的探索已进入一片缺乏航图的未知水域。
Scaling Law的红利逐渐见顶,高质量数据源趋于耗尽,模型的黑箱属性依然顽固——整个行业正步入所谓的“后Scaling时代”。种种信号表明,那些横亘在前的根本性瓶颈,仅凭堆叠工程资源已难以突破。
关键问题已然浮现,能解答它的人,开始走向台前。
5月30日,宾夕法尼亚大学沃顿商学院统计学教授苏炜杰确认加入OpenAI,参与其核心模型训练工作。他于2026年荣获COPSS会长奖,这是统计学界授予40岁以下学者的最高荣誉,也是时隔14年再度由华人学者摘得。此前,他刚获擢升为正教授。
在学术生涯的顶点,他选择转身,踏入这场技术风暴的最中心。
这个时间点,绝非偶然。
契机:始于去年十二月的一通视频
苏炜杰透露,直接的契机是去年12月OpenAI研究员Sebastien Bubeck的一通Zoom邀约,询问他是否有意加入。“多年前他在学术界时,就关注过我在优化理论方面的工作。”
这句话隐含两层信息:OpenAI关注理论研究由来已久;而苏炜杰在优化领域的建树,早已在核心圈层内被标记。
他的学术轨迹贯穿高维统计、机器学习理论、因果推断、差分隐私与生成式AI。2007年考入北大数学科学学院,以年级第一的成绩毕业,随后进入斯坦福大学统计系,师从统计学巨擘Emmanuel Candès。这样的背景塑造了他审视问题的方式——专注于挖掘复杂系统中的底层结构,而非仅仅求得一个可运行的结果。
国内数学圈将北大数院2007级誉为“黄金二代”,涌现出苏炜杰、邓煜、王虹、唐云清等一批横跨数学、统计与AI前沿的杰出学者。对此,苏炜杰的回应客观而坦诚:“回顾来看,我们这一级确实整体实力突出,在北大时已显露出潜力,只是当时不自知。前后几届同样英才辈出,这很大程度上得益于北大数学的培养体系,以及一群真正热爱数学的人聚集所产生的激励效应。”
他的底色是数学。“数学训练赋予人的并非某个固定工具,而是在混沌中识别秩序与结构的能力。”但他坦言,最初并未刻意瞄准应用。“源于一系列机缘,本科时在微软亚洲研究院的实习,之后到斯坦福读博,较早接触到了机器学习与人工智能,这些经历塑造了我日后从事应用数学研究的学术取向。”
身处当前的职业阶段,身边不少学界同仁已投身创业。而他选择OpenAI,理由清晰:许多长期关注的基础理论问题,如今正以极其具体、规模空前的形式,出现在大模型研发的最前线。“在高校,我们课题组提出过不少关于AI算法的构想,但受限于算力与工程基础设施,难以进行大规模实验验证。而在前沿实验室,这些限制不复存在。”
这番话指向一个明确的判断:他前往OpenAI,并非离开学术,而是为了让学术探索更为彻底和有力。
OpenAI为何需要数学家?
关于入职后的具体职责,苏炜杰表示暂不便详述。但他确信,未来理论根基扎实的研究者,在开发AI模型时将展现出更大优势。这一判断基于两个现实。
第一,前沿实验室的工程基础设施已趋于成熟,编码智能体在研发流程中日益普及。这并非否定工程能力,而是其重心正在迁移,原创想法(idea)的价值将愈发凸显。“真正稀缺的,是提出精准假设、设计严谨实验、定义有效评估标准、获取及时反馈,并预判其可扩展性的综合能力。”
第二,大模型性能提升已进入深水区。通用对话能力几近饱和,真正的差距将体现在模型面对高难度任务、在复杂多变环境下的鲁棒性与可靠性。“此刻,对数据的深刻理解变得至关重要,尤其是对数据分布特性、泛化边界以及评估不确定性的洞察。”
正因如此,越来越多的统计学家、应用数学家、理论物理学家活跃于AI领域。苏炜杰描述的不仅是个人的职业洞察,更映射了整个行业在能力需求上的结构性迁移。
过去三年,AI领域的竞争核心是GPU数量、数据中心规模和工程团队实力。然而,当前新的问题浮出水面:对齐代价如何精确计量?合成数据的坍缩风险怎样量化?训练过程的收敛性能否被严格证明?这些问题的答案,正逐渐超出传统工程优化的经验范畴,日益显现出数学问题的本质。
他关切的问题,正是大模型的症结
审视苏炜杰近年来的论文方向,一个有趣的现象浮现:他的研究焦点,与当下大模型在训练与应用中遭遇的核心瓶颈高度重合。这并非偶然——两条脉络共同指向一个核心议题:不确定性。统计学的本质是驾驭不确定性,而当今的大模型,恰恰构建在多重不确定性之上。
Scaling Law是否存在绝对天花板?
硅谷曾深信Scaling Law,认为算力、数据与参数规模指数级增长必将通往AGI。但眼下,回报递减的信号日益清晰。苏炜杰两年前便思考过此问题,他认为不存在一个完美答案。“算力与参数量是相对良定义的,但‘数据’并非单一的良定义变量。两份规模相同的数据,其信息密度、任务结构、长尾覆盖度与可验证性可能天差地别。Scaling Law可能在一种数据上成立,在另一种上则失效。”
他还指出了一个常被忽视的维度:由于AI引擎的普及,世界生成数据的速度远超以往。真正的问题在于——这些新生成数据的“智能密度”,与早期更原生、更自然的数据相比,能否持续支撑模型能力向上扩展?这需要实证层面的严谨探索。
对齐代价在数学框架下有解吗?
“越对齐,越笨拙”是当前最棘手的难题之一。为使模型符合人类的安全与伦理规范,强化学习人类反馈(RLHF)会扰动模型的微观数据分布,进而损害其原生推理与生成能力。这好比让一台为奔跑而生的机械犬学习直线行走,其速度与敏捷性必然受损。
此难题真的无解吗?苏炜杰指出,“对齐税”在直觉上易于理解,不同目标间的权衡确实存在。但“越对齐越笨”在一定程度上是可缓解的。随着模型基础能力的增强,对齐行为对其性能的负面影响可以降低。
至于能否在数学上推导出一个完美的权衡边界,他借用了一个物理学类比:“大模型因其巨大规模与复杂结构,类似一个庞大的物理系统。理论指导相对容易成功的,往往是微观与宏观两个尺度:微观层面,如Muon优化器等方向;宏观层面,例如Scaling Law本身。”真正的挑战在于介于二者之间的“介观尺度”——那里充斥着数据、模型、任务与人类反馈的复杂动力学交互。“这类似于物理学在高能粒子与宇宙学尺度上非常成功,但对介观尺度的生命系统解释起来却极为困难。有志于为AI建立具有实际指导意义理论框架的研究者,可借鉴这个物理类比。”
合成数据是可行的路径吗?
当人类产出的高质量数据即将耗尽,行业开始大规模使用AI生成的合成数据训练下一代模型。随之而来的警告是:这可能引发“模型崩溃”。对此,苏炜杰的判断明确:模型崩溃主要源于对合成数据进行直接、不加处理的循环使用,理论上这几乎是必然结果。因为反复使用纯粹的合成数据,AI模型便成为一个与真实世界隔绝的封闭系统。“数据分布会不断收窄,借用一种不完全严格的说法,这类似于熵增——封闭系统终将走向退化。”
但这不意味着合成数据此路不通。关键不在于数据是否由AI生成,而在于生成与筛选过程中是否引入了外部信息与反馈。“已有大量研究在探索如何审慎地将人类先验与环境反馈整合进合成数据生成过程,从而构建一个带反馈的开放系统。”
思维链真能赋予模型理性吗?
思维链带来的推理能力跃升,对许多人而言仍是个谜。苏炜杰坦言,他甚至曾思考过其反面:能否通过减少token、迫使模型直接输出答案,以提升训练难度来增强推理?“现在看来,这个想法可能是错的。”因为在许多复杂问题中,标准答案未必以清晰形式存在,需经大量思考找到相对合理的解;即便答案存在,也常需遍历诸多看似错误的路径才能抵达。他给出了一个略带哲学色彩的解读:“这恰恰是世界不完美、绝对理性不存在的一个例证。”
AI正在弥合“象牙塔”与外界的鸿沟
外界常有一种刻板印象,认为学术界与工业界之间存在高墙,尤其在AI这样高速迭代的领域,文化摩擦似乎不可避免。但苏炜杰指出,美国高校“象牙塔”的围墙,实际并没有想象中那么森严。
高校的研究经费大量来自政府与业界资助,因此,尽管学校给予教授充分的学术自由,许多学者仍会自发地将研究方向与业界发展,特别是AI前沿紧密结合。即便在纯数学领域,也有越来越多的学者开始主动探索与AI的交叉,这与欧洲学术界的传统氛围形成鲜明对比。
从宾大沃顿到OpenAI,在他看来,工作模式虽有转变,但核心追求并无本质不同。“现阶段,AI智能呈现‘博远超常人,精不及专家’的特点——其知识广度远超个体极限,但在专业纵深度上仍不及顶尖从业者。学术界的特质则恰好相反,追求极致的深度,而在广度上有所取舍,二者构成了绝佳的互补。”他预测,未来AI的持续进化,尤其是在专业纵深上的突破,将愈发依赖于与学术界的深度融合。
这种互补性,或许也是解读他此次选择的另一个视角。“象牙塔”并未倾覆,但它与外部世界的连接通道,正变得前所未有的宽阔。当一位统计学家决定步入风暴中心,他所凝视的,或许正是工程师们尚未及精准定义的那些根本性问题。
