大模型间接推理排行榜：对偶与矛盾深度测评

大语言模型的推理能力是衡量其智能水平的核心指标。Wei等人2022年提出的思维链提示通过显式写出逐步推理路径，显著提升了问答质量。此外，自我一致性提示、从最少到最多提示等方法，本质上都是在提示层面引导模型强化推理链条。

然而，上述方法均遵循直接推理框架——从已知前提出发，逐步推导至结论。现实世界中大量问题难以通过这种单向线性逻辑得到有效证明，下图所示案例即为典型。

既然直接路径受阻，能否另辟蹊径？人类思考时常会转换视角、迂回求证。这正是本文探讨的核心——间接推理。

论文的方案

针对直接推理的固有缺陷，研究团队提出利用间接推理加以弥补。他们从逻辑学借用了两个经典工具：对偶与矛盾。对偶原理指出p→q与其逆否命题¬q→¬p逻辑等价，证明其一即等价证明另一。矛盾法则即反证法——假设结论不成立，推导出矛盾，从而确认原结论成立。

如何让LLM掌握这种迂回推理能力？关键在于在提示语中嵌入专门指令或示例。通过精心设计的提示模板，将对偶与矛盾逻辑内化于提示结构，引导模型绕过直接推理的瓶颈。实现极为简洁，无需额外编码，且通用性强，可无缝嵌入任意现有直接推理方法（包括少样本与零样本场景）。

在此基础上，论文进一步将直接推理与间接推理融合为DIR方案。具体做法是：让模型同时从两个方向进行推理，最终通过投票机制筛选出最可靠的结论。

论文的效果

效果如何？研究团队在事实推理与数学证明两项任务上，分别测试了GPT-3.5-turbo与Gemini-pro。结果令人瞩目：间接推理在事实推理任务上整体准确率较直接推理提升27.33%，在数学证明任务上提升31.43%。更值得关注的是，面对复杂问题，间接推理所需的推理步骤反而更少——与直觉相悖，但换个角度的确能有效减少无效路径。

DIR混合方案的实验结果表明，其性能显著优于任一单一策略。简言之，为模型开辟多条推理路径，整体推理能力自然随之增强。

- 首次将对偶与矛盾逻辑学原理引入LLM推理流程。
- 设计了一套高效提示模板，激活模型的间接推理能力。
- 实验证实，在直接推理表现欠佳的诸多问题上，间接推理可显著提升效果；两者结合后，模型整体推理能力更上一层楼。