港科大团队革新AI训练：高效数据筛选法让机器学习效率倍增

这项由香港科技大学（广州）、伦敦大学学院与快手科技等机构合作的研究，于2026年3月3日发布在arXiv预印本平台（编号：arXiv:2603.01907v1）。研究团队提出了一种名为INSIGHT的全新训练数据选择方法，旨在显著提升大语言模型在强化学习中的训练效率。

训练顶尖AI模型，其核心挑战与培养顶尖学者类似：关键在于如何从海量“练习题”中，精准筛选出最具学习价值的数据。尤其在数学推理与逻辑思考任务中，强化学习是主流训练范式。然而，现有数据选择策略往往过于粗放，依赖随机抽取或模糊的“难度适中”标准。这如同仅给学生布置“半会不会”的题目，却忽略了其真实的知识盲区，导致计算资源浪费与训练效果瓶颈。

传统方法的根本误区在于，将“题目难度”简单等同于“学习价值”。实际情况更为复杂：一道题对学习者的帮助，不仅取决于其固有挑战性，更取决于学习者对该类题目的熟悉程度。反复练习已掌握的同类题目，即使题目本身有难度，其边际收益也微乎其微。

INSIGHT方法正是为打破这一局限而设计。其核心思想直观而深刻：在挑选训练数据时，必须同时权衡两个关键维度——题目的固有难度，以及模型对该类题目的“认知不确定性”。换言之，它优先选择那些“难度适中，且模型尚不熟练”的题目。

这背后是一个动态评估系统。它如同一位经验丰富的导师，不仅清楚每道题的深浅，更能实时诊断模型在哪些知识板块上存在薄弱环节。当模型对某类题目已驾轻就熟时，系统会自动降低其选取频率，将宝贵的训练资源转向模型尚感“生疏”的领域。

一、传统方法的根本局限

当前主流的数据选择思路，是寻找模型成功率在50%左右的题目。这看似合理——挑战与能力匹配，似乎最能促进学习。

但这种方法忽略了一个关键动态：随着练习次数的增加，模型对某类题目的认知会越来越清晰。即便题目成功率维持在50%，它们所能提供的新信息量也在持续衰减。好比学生反复刷同一种题型的数学题，初期进步显著，后期则陷入停滞，因为题目已无法带来新的认知突破。

通过理论剖析，研究团队揭示了传统方法缺失的一环：它只关注了“结果的不确定性”（即题目本身固有的随机性），却完全忽视了“认知的不确定性”（即模型对题目真实难度判断的不确定性）。后者恰恰是衡量学习潜力的关键指标。

更精确地说，一道题目的学习价值，可以用它所能带来的“期望方差减少量”来衡量。该指标量化了完成该题目后，模型对自身能力判断的模糊程度降低了多少。数学推导表明，这个减少量不仅与题目难度相关，更与已积累的相关经验成反比。当经验足够丰富时，继续练习同类题目的边际收益会急剧下降。这正是传统方法效率低下的根源——大量计算被浪费在了模型已经“吃透”的数据上。

二、INSIGHT方法的核心创新

为突破上述局限，INSIGHT构建了一个基于“加权互信息”的全新框架。“互信息”源于信息论，在此处可理解为：完成这道题，能为提升模型整体能力减少多少不确定性。

该方法巧妙地将两个互补的考量融为一体：

认知探索： 基于互信息理论，主动寻找那些能最大程度减少模型认知盲区的题目类型，即模型还不够熟悉的领域。

难度调节： 通过一个精心设计的权重函数，确保被选中的题目具有合适的挑战性，避免过于简单或困难。

具体操作上，INSIGHT的权重函数包含两部分：“高方差筛选”倾向于选择结果波动大的题目（通常信息更丰富）；“难度偏向”则通过一个可调参数，控制对特定难度区间（实验发现约30%成功率最佳）的偏好。

这种双重机制，使得INSIGHT在面对一批候选题目时，不会机械地只看成功率是否接近50%。它会综合评估每道题的难度特征，并结合当前模型对该类题目的“熟悉度”档案。对于那些模型已经烂熟于心的题目类型，即使难度合适，其优先级也会被系统性地调低。

此外，INSIGHT具备很强的适应性。它维护着一个动态更新的“信念系统”，实时记录并更新模型对各类题目掌握程度的估计。该系统还会引入“时间折扣”机制，让近期的训练经验拥有更大权重，这符合模型能力持续进化的现实。

三、理论基础与数学洞察

INSIGHT的稳健性，根植于贝叶斯统计与信息论的坚实数学基础。研究团队将每个训练题目的成功率建模为一个服从Beta分布的未知变量。Beta分布的特性使其能优雅地将新的成功/失败次数整合到现有认知中。

通过严密的数学推导，团队得到了一个关键结论：任一题目的学习价值，可精确表述为“难度相关项”与“经验相关项”的乘积。后者会随着相关练习次数的增加而衰减。这从理论上证实：题目的价值不仅在于它“有多难”，更在于我们“对它知道多少”。

进一步的大样本分析表明，随着对某类题目经验n的积累，相应的互信息会以1/n的速度衰减。这为INSIGHT的有效性提供了理论保证：它确实能识别并优先选择那些尚未被充分“开发”、具有高学习价值的数据类型。

在实际计算中，Beta分布的共轭性质带来了极高的效率。模型只需进行简单的参数更新，即可完成信念系统的迭代。这种低开销特性，使得INSIGHT能够无缝融入大规模训练流程。

四、实验设计与效果验证

为全面验证INSIGHT的效能，研究团队设计了跨领域、跨模型规模的严谨实验。

实验覆盖三大领域：规划推理（以倒计时数字游戏为代表）、数学推理（涵盖从基础到竞赛级的数万道题目）、通用推理（涉及物理、化学、金融等多学科）。模型参数规模则从6亿到70亿不等，以检验方法的普适性。

对比的基线方法包括随机选择、当前最佳的基于难度启发式方法（MOPPS）以及资源密集型的动态过采样方法。

结果令人信服：INSIGHT在所有测试场景中均取得显著提升。在规划与数学推理任务上，平均性能提升超过1个百分点。在AI性能评估中，这已是相当大的进步。

更突出的优势体现在训练效率上。在相同的计算预算下，INSIGHT达到目标性能的速度是传统方法的1.5到2.2倍。这意味着可观的成本节约。

一个有趣的发现是：INSIGHT对较小模型（6亿参数）的提升效果最为明显。这合乎直觉——小模型参数有限，对训练数据的质量更为敏感，精挑细选的数据能帮助它们将有限的“脑容量”用在刀刃上。

五、深度分析与实际应用

深入的消融实验揭示了INSIGHT成功的关键：其两大组件存在显著的协同效应。单独使用互信息（只关注不确定性）或单独使用权重函数（只关注难度），效果均远不如二者结合。这证明，优秀的数据选择必须在“探索未知”和“难度适配”之间取得平衡。

另一个重要发现关乎稳定性。INSIGHT使用基于贝叶斯后验的“期望成功率”，而非通过少量采样估计的“采样成功率”。实验证明，前者虽然不那么“精确”，却更为稳定，能带来更优的整体性能。这揭示了一个原则：在数据选择中，稳定的估计往往比追求点对点的精确更重要。

关于难度偏好的参数研究也颇具启发性。实验表明，将难度偏好设置在成功率30%左右（而非传统认为的50%）时，效果最佳。一种可能的解释是，在强化学习框架下，适度困难的题目（意味着更多失败尝试）能提供更丰富的学习信号，尤其是宝贵的负面反馈。

六、技术优势与创新点

INSIGHT在工程实现上展现出多重优势：

计算高效： 其核心是轻量的统计更新，开销远低于需要多次前向传播的评估方法。

稳定可靠： 基于期望值而非采样值的评估，减少了选择过程的随机波动，使训练曲线更平滑。

易于扩展： 计算可天然并行化，能轻松处理超大规模数据集。

模块化设计： 互信息计算与权重函数相对独立，便于针对特定任务进行定制化调整。

开箱即用： 对超参数设置不敏感，在不同场景下均表现出良好的鲁棒性。

七、实验结果的深层含义

INSIGHT所带来的一致性提升，其意义超越了方法本身，为我们理解AI学习机制提供了新视角。

在规划推理等复杂任务上高达5%的性能提升表明，数据质量的价值可能被长期低估。尤其对于参数受限的中小模型，高质量、高针对性的数据很可能是释放其潜力的关键钥匙。

训练效率1.5-2.2倍的提升，则具有直接的现实经济价值。考虑到大规模AI训练动辄耗费巨量算力，这种效率优化能转化为巨大的成本节约。

不同规模模型上的效果差异，印证了“数据选择与小模型更配”的直觉。这为资源有限的开发者或企业提供了明确的技术路径：通过更智能的数据筛选，让小模型发挥出接近大模型的性能。

八、方法局限性与改进方向

当然，INSIGHT并非万能钥匙，研究团队也清晰地指出了其当前局限：

首先，现有验证集中于有明确答案的任务（如数学、逻辑）。在文本生成、对话质量等评判标准更主观、模糊的任务上，其效果有待进一步验证。

其次，实验涉及的最大模型为70亿参数。在当今千亿、万亿参数的时代，INSIGHT能否继续发挥显著作用，需要更大规模的实验证实。

此外，方法对数据标注质量有较高依赖。如果奖励信号存在系统性偏差，INSIGHT可能会放大这种错误。

展望未来，可能的改进方向包括：探索更复杂的概率分布模型以适应多样化的任务；开发自适应超参数机制以降低调优负担；以及将框架扩展至多任务与迁移学习场景，利用任务间的关联性进行更智能的数据选择。

归根结底，INSIGHT方法最重要的贡献，或许在于其示范了一种融合信息论、贝叶斯统计与机器学习的严谨研究范式。它证明，用深刻的数学理论指导实践，能有效解决AI训练中的核心工程难题。这条路刚刚开辟，前方仍有广阔空间等待探索。

Q&A

Q1：INSIGHT和传统方法最根本的不同是什么？

A：根本区别在于选择标准。传统方法基本只考虑题目难度（如50%成功率），而INSIGHT同时考量“难度”和“模型对该类题目的不熟悉程度”。它像一个资深教练，不仅看训练项目的强度，更关注运动员哪块肌肉群还比较弱，从而制定个性化训练方案。

Q2：INSIGHT带来的实际提升有多大？

A：在多项推理任务上，平均性能提升约1-1.4个百分点。更重要的是，它能将训练效率提升1.5-2.2倍，即用更少的时间和算力达到相同效果。这在追求边际效益的AI训练中，价值显著。

Q3：普通开发者能否方便地使用INSIGHT？

A：从技术上讲，INSIGHT计算开销低，易于集成，且研究团队已开源代码，实用性很强。但需要注意的是，目前其优势主要在数学、逻辑等有明确评判标准的任务上得到验证。在其他更开放、更主观的任务领域，效果如何仍需实践检验。