2024海德堡论坛精华：AI巨头LeCun、Bengio等核心观点深度解析

算力迭代与算法演进已将深度学习从实验室推入产业核心，成为驱动变革的底层引擎。当技术浪潮席卷一切，一个更根本的命题随之凸显：从模型架构设计到生产环境部署，如何确保这股强大的力量被稳健、负责任地应用？这不仅是工程问题，更是所有AI构建者与使用者必须共同面对的伦理与技术挑战。

今年九月，在第九届海德堡获奖者论坛上，三位图灵奖得主Raj Reddy、Yoshua Bengio、Yann LeCun，2011年ACM计算奖得主Sanjeev Arora及多位顶尖学者展开了一场深度对话。这场高阶思想碰撞，为理解AI的未来路径提供了关键坐标。

1 深度学习：概念的演进与理论挑战

讨论始于对定义本身的审视。Yann LeCun提出一个包容性视角：深度学习可理解为通过组合功能模块构建系统，并利用梯度下降优化目标函数。这一框架不仅涵盖神经网络，也与早期的模式识别思想存在谱系关联。

概念本身持续演化。有观点主张以“可微分编程”重新命名，其核心在于编写程序时，函数调用本身成为可训练参数。这实质是对深度学习范式的泛化。

Sanjeev Arora则从理论层面指出关键局限：仅用损失函数定义深度学习并不完备。相同的损失函数可能导向迥异的解，真正起作用的常是训练算法中隐含的“归纳偏好”。目前，我们对黑箱内部动态的理解仍非常有限。理想状况下，需要一个更宏大的统一理论，来解释训练算法、模型架构与损失函数如何协同涌现出智能行为。这一理论需求在预训练-微调范式日益主流的当下尤为迫切。

DeepMind科学家Shakir Mohamed提供了另一个分析框架：将机器学习分解为“模型构建”与“推断执行”。模型是对数据生成过程的假设，推断则是将数据转化为参数更新的计算。深度学习的效力，恰恰源于其对模型结构（如组合性）、损失函数和优化算法的特定选择。通过分别审视“构建何种模型”、“为何如此构建”、“如何执行推断”及“使用什么算法”，我们能获得更清晰的技术图景。

Yoshua Bengio对此表示赞同，并进一步强调，我们需要更主动地为下一代架构设计“归纳偏差”。关键在于思考：我们希望模型在函数空间中具备何种偏好？如何将这些偏好编码进学习机制？这可能是实现类人推理能力的关键。他相信，通过将特定结构嵌入架构，完全可能引导出更高级的推理过程。

2 突破瓶颈：赋能深度学习的推理能力

对话自然转向AI的经典难题：推理。一位自动驾驶研究者提出尖锐问题：如何将感知系统产生的低层信号与人类的高层符号知识关联？例如，人类驾驶员可凭借常识与世界模型应对交通灯故障等意外，而现有AI系统在此类长尾场景中极易失效。

Yann LeCun承认，从感官数据到符号表示的映射虽是深度学习所长，但其鲁棒性远未达标。这类系统往往非常脆弱，一旦任务偏离训练分布，性能便急剧衰退。如何使深度学习系统进行可靠推理，是一个活跃的研究前沿。他近期已发表论文，专门探讨如何使推理与深度学习框架兼容。

Yoshua Bengio持乐观态度。他认为连接符号知识与数据知识是可行的，核心在于设计新颖架构，并将推理作为核心组件。深度神经网络的组合能力是其优势，从多层模块到注意力机制，未来可能需要更动态的组合方式来操作高级的、符号化的概念进行推理。注意力机制是一条路径，但这仍是开放挑战。

Sanjeev Arora提出了关于“解释”的难题。对于在长序列中运行的自治系统（如自动驾驶汽车），其决策是动态过程，我们很难像解释人类行为那样，为每一步提供简洁理由。人类依赖诸多认知启发式规则，但这些规则对AI是否有效仍是未知数。

谷歌大脑科学家Been Kim从可解释性角度补充：将符号逻辑与深度学习结合，确实能增强系统可解释性。但这里存在一个潜在假设陷阱：我们默认人类理解的符号足以解释复杂AI系统。问题在于，当我们将神经网络行为近似为人类符号时，这种近似的保真度如何？我们如何判断其何时失效？失效后又该如何修正？这些都是至关重要的问题。

Bengio在回应关于归纳偏差的提问时，以人类推理为例阐述：人类在高层次推理时，会建立概念间的因果关联，形成稀疏的“概念图”。这种在高维稀疏变量层面的精准预测，与在像素层面的操作截然不同。此外，人类擅长动态重组与复用概念。如何将这种关乎因果、稀疏性与动态重组的归纳偏差设计到神经网络中，是将AI推向更高层次理解的关键。强化学习与意图、干预等概念的结合提供了思路。理解人类推理的成功与失败模式，乃至从生物学汲取灵感，都可能帮助我们为神经网络注入更强大的推理能力。

3 开放科学：ICLR与同行评审演进

作为机器学习领域顶级会议，ICLR开创的开放同行评审模式影响深远。当被问及此模式对AI研究的影响时，两位创始主席Yann LeCun和Yoshua Bengio分享了背后的思考。

LeCun回顾，2010年代初，计算机科学会议评审存在一定随机性，这非审稿人之过，而是领域发展过快与审稿人经验有限的必然结果。评审往往倾向于寻找缺陷而非肯定价值，导致高拒稿率。他与Bengio认为，预印本平台的兴起打破了论文与出版机构间的垄断关系。理论上，任何评审机构都可评审任何论文，作者也可自由选择评审方，形成一个开放的“评审市场”。评审机构的信誉将取决于其评审质量与预见性。

基于此理念，他们于2013年将运行十年的研讨会升级为ICLR会议，并与OpenReview平台合作，实施开放评审系统。其核心是“开放”：论文公开，评审意见也公开。这不是双盲评审，而是单盲（官方审稿人匿名），但任何人都可实名评论论文。一项社会心理学调研显示，与传统模式相比，研究者明显更偏爱此开放模式。

当然，理想与现实存在差距。LeCun坦言，随着会议组织工作移交至志愿程序委员会，评审过程逐渐向传统模式靠拢，尽管OpenReview的开放形式得以保留。但开放评审的理念已产生深远影响，NeurIPS、ICML等顶级会议也已采纳类似模式。LeCun视此为积极进展。此外，他与Bengio倡导的“早发布、常发布”的快速分享文化，也深刻影响了整个AI社区，使纠错与迭代更加高效。

Bengio补充了更早的历史背景。机器学习社区在开放科学方面一直是积极推动者。早在1999年左右，因与《机器学习期刊》在开放获取上未能达成一致，他们便参与创办了完全由社区管理的非营利旗舰期刊JMLR。他鼓励有理想的年轻研究者，除专注自身研究外，也可积极投身甚至发起组织工作。正如发起“Climate Change AI”小组的年轻人那样，通过组织研讨会或创办新会议，将精力投入推动社区价值观与解决重大社会问题的行动中。这需要巨大努力，并团结大批志同道合者。LeCun则用数据证明了开放模式的成功：谷歌学术显示，自2013年以来，ICLR影响力在所有出版机构中已高居第七，甚至超过《美国国家科学院院刊》（PNAS），这很大程度上归功于其完全开放的评审过程。

4 可持续AI：能效挑战与气候应对

随着模型规模指数级增长，其巨大能耗与碳足迹引发广泛关切。面对“模型会否无限增大并加剧气候危机”的尖锐提问，学者们从不同维度给出了分析。

Sanjeev Arora指出，问题可拆解为训练与部署两个层面。在部署阶段，可通过模型压缩、蒸馏等技术使模型更紧凑高效。但在训练阶段，追求更大模型的研究趋势确实存在。

Yann LeCun提供了更细致的分类与令人稍感宽慰的数据。他认为能耗主要来自研究训练、生产训练和部署三部分，其中部署阶段的能耗占绝对主导。根据谷歌内部一篇论文预测，AI服务能耗在谷歌总能耗中的占比约为15%-20%，且此比例不会无限增长。原因在于经济规律——能源成本是如谷歌等大公司的重大支出项，这本身构成了强大的节能动力。

Been Kim提到了“蒸馏”和“稀疏化”两个关键技术方向，它们能使复杂模型变得更小、更易理解。她特别指出，在谷歌这类公司内部，简化模型对于实际部署与维护至关重要，因为过于复杂的模型难以维护与理解，因此工程团队有持续动力进行能效优化。

那么，如何确保AI技术优先用于应对气候危机？哲学家Shannon Vallor提出了一个根本性的价值排序问题：在AI资源有限的约束下，我们应优先将其应用于哪些领域？气候危机的紧迫性日益加剧，我们必须确保对AI应用的投资激励，与应对气候危机的实际需求相匹配。

LeCun分享了一个具体案例：他曾在谷歌参与一个开放协作项目，旨在利用AI寻找高效电解水制氢的方法。若能大规模、经济地储存可再生能源（例如利用太阳能板制氢），我们便有望摆脱对化石燃料的依赖。他认为AI在材料科学与化学领域应用前景广阔。

Yoshua Bengio的回应更具政策高度。他承认现有措施远远不足，并明确指出，解决气候这类全球性挑战，不能依赖个人或个别公司，必须依靠政府层面的强力政策推动。我们需要激励各国政府在全球层面采取最优协调行动。类似的问题也出现在传染病防治、医疗健康等领域，都需要系统性的顶层设计。