大语言模型训练新方法：革新规模定律的深度研究

训练一个像ChatGPT或Claude这样的大语言模型，成本究竟有多高？科技巨头们对此往往守口如瓶，但业内的普遍共识是，每次训练的花费动辄数亿甚至十亿美元。如此天价，自然让开发者们希望每一次训练都能“毕其功于一役”。

为了控制成本、提升大规模单次训练的可靠性，AI领域早已离不开一套名为“规模定律”的基础设施。开发者们通过评估一系列小型模型的能力，来预测最终大模型在训练过程中的表现。然而，讽刺的是，即便是这套用于“省钱”的预测方法，其本身也需要耗费不菲的算力。

现在，转机出现了。一项新研究提出了一种革新性的扩展方法，有望将预测所需的计算量大幅削减，从而节省数百万美元的训练成本，并显著缩短研发周期。

一场昂贵的“押注”与统计学的捷径

斯坦福大学计算机科学助理教授Sanmi Koyejo，也是这项研究的通讯作者，对此有一个生动的比喻：“在规模定律被最终验证之前，最顶尖的开发者其实是在‘押注’，他们赌上一切，并围绕模型的调整做出了重大战略决策。结果证明他们赌对了，规模定律确实能有效推断性能。但即便如此，规模扩展本身依然代价高昂，只是比盲目训练要便宜一些。”

这项已被国际机器学习大会（ICML）接收的研究，核心目标非常直接：能否用算法让规模扩展本身变得更高效？

研究团队给出的答案是肯定的。他们将这一新框架命名为“题目反应规模定律”，其灵感并非来自计算机科学，而是源于教育测量和心理统计学——没错，就是SAT等标准化考试所依赖的那套理论。

向考试学来的“高效评估法”

IRSL的核心机制，与自适应考试的逻辑如出一辙。它不再给所有模型“考生”反复做同一套冗长的试卷，而是建立了一种动态互动：当模型正确回答一个问题后，系统会随即提出一个更难的题目。这种“逐级挑战”的方式，能够用最少的题目，精准定位出模型的真实能力边界。

这本质上是一条统计学的捷径。传统方法为了预测准确，可能需要在数万道基准测试题上运行数千个小模型，单次扩展的查询总量可能高达十万亿次。而IRSL的突破在于，它最少仅需50道题，就能达到同等甚至更高的预测精度，将计算需求降低了超过99%。

“在现有框架下，预测一次需要海量的计算，”论文第一作者、斯坦福博士生Sang Truong解释道，“我们的方法让这个过程变得既高效又可靠。而且，在某些情况下，减少计算量反而能改善预测结果，这算是一个反直觉的收获。”

谁将受益？

那么，这项技术将惠及哪些群体？Koyejo教授预测，影响最深远的将是学术界。对于研究经费通常并不宽裕的大学和科研机构来说，高昂的训练成本一直是难以逾越的门槛。IRSL为他们打开了一扇窗，使得严谨的规模扩展研究变得可行。

当然，财力雄厚的商业公司同样能从中获益。节省下来的每一分算力，都意味着更快的迭代速度和更低的试错成本。研究团队希望，IRSL能成为一个新工具，推动整个行业以更科学、更严谨的统计方式来思考模型扩展问题。

“题目反应规模定律是一项重要的进步，”Koyejo总结道，“它表明，规模扩展乃至整体训练过程是可以被精炼和优化的。它揭示了一个深刻的道理：有时候，用更少的工作量，反而能捕捉到更优质的信号。”

本研究由斯坦福大学Sanmi Koyejo教授团队主导，合作者包括斯坦福博士生Rylan Schaeffer以及加州大学洛杉矶分校的Yuheng Tu。研究得到了美国国家科学基金会、ARPA-H、麦克阿瑟基金会、施密特科学、斯坦福以人为本AI研究院（HAI）、OpenAI、微软及谷歌的资助支持。

核心要点解读

Q1：题目反应规模定律（IRSL）是什么？它有什么作用？

IRSL是一种借鉴了标准化考试（如SAT）评估原理的新型大语言模型扩展框架。它通过动态调整题目难度（答对后出更难的题），用极少的题目就能精准评估模型能力，从而将预测模型扩展性能所需的计算量最高降低99%，显著节省训练成本和时间。

Q2：IRSL相比传统方法能节省多少计算量？

传统方法可能需要对数千个小模型进行数万道题的测试，总查询量可达十万亿次级别。而IRSL最少仅需50道题即可达到同等精度，计算需求降幅超过99%，能为AI开发节省数百万美元成本。

Q3：IRSL主要对哪些群体有帮助？

对学术界帮助最大，能极大降低学术研究的经济门槛。同时，商业AI公司也能借此提升研发效率、降低成本。该工具旨在推动整个领域采用更科学、严谨的统计方法进行模型扩展研究。