LLM时代个性化推荐系统权威榜单

蚂蚁集团语言与机器智能部撰写的论文《LLMRG: Improving Recommendations through Large Language Model Reasoning Graphs》被AAAI 2024收录。AAAI由国际先进人工智能协会主办，是人工智能领域公认的顶级学术会议，属于CCF A类会议。第38届年会于今年2月在温哥华召开，过去五年平均录取率约19%——能在如此严苛的筛选中过稿，论文的分量不言自明。

利用图结构增强推荐系统表达能力已非新技术。知识图谱、交互图等方法虽引入了更丰富的关系信号，但核心短板依旧明显：它们难以深入推理和理解用户行为背后的兴趣动机。与此同时，大语言模型在因果推理、逻辑类比等能力上取得了显著突破。一个自然的问题随之浮现：能否借助大语言模型赋予推荐系统更强大的推理与洞察能力？

围绕这一问题，蚂蚁集团团队提出了LLMRG框架——一种借助大语言模型构建个性化推理图的创新方案。核心逻辑是：利用LLM的推理能力，将用户历史行为与属性信息通过因果和逻辑推理连接起来，再进行发散式延伸，最终构建出刻画用户高阶兴趣的个性化推理图。该框架还引入了自验证机制和自迭代知识库，确保推理图的质量。最后，推理图被编码为附加特征注入传统推荐模型，带来性能的显著跃升。

1. 背景

传统推荐系统最大的困境在于：它们虽能捕捉“用户买了什么”，但无法解答“用户为什么买”。即便引入知识图谱补充上下文，这些图谱本质上仍是静态的，缺乏复杂推理能力，无法触达用户兴趣的深层逻辑。

与此同时，大语言模型在因果推理、逻辑推理、类比推理等维度取得了长足进步，为发展更先进的知识表示方法铺平了道路。团队自然想到利用LLM构建个性化推理图：将用户特征与行为序列通过因果和逻辑推理连接，刻画用户兴趣之间的高阶语义关系。

具体实现路径非常巧妙：通过图神经网络对推理图编码，作为传统推荐模型的额外输入。这样做既利用了LLM推理出的概念关系，又保留了现有推荐系统的能力，最终实现更具解释性和合理性的个性化推荐。

主要创新点可归纳为四个方向：

• 提出自适应推理架构，包含链式图推理、发散扩展、自我验证与评分、自我改进知识库四个模块，利用LLM的推理与逻辑能力构建个性化推理图。
• 将推理图与传统推荐系统有机结合，保留推荐算法优势的同时获取LLM概念关系带来的增益。
• 推理图具备良好的可解释性，能清晰说明推荐背后的逻辑与原因。
• 在多个基准数据集上验证效果，实验表明LLMRG能显著提升现有推荐系统的性能，且无需任何额外用户或物品信息。

2. 算法方案

核心思路非常直观：对由文本信息增强的用户序列进行分析，借助LLM的自然语言理解与推理能力深入解读用户行为。基于此，设计LLM推理图模型，核心模块是LLM增强的自适应推理模块。该模块负责推理用户在交互行为过程中的内在意图，将具有内在逻辑相关性的子序列抽象为推理链，最终将完整用户行为序列刻画为能表达用户思维过程的推理图。

有了推理图，即可刻画用户内在意图，作为同标签用户检索的推理依据。由于推理图具有有向性，还能刻画用户完整的意图动态过程。为进一步增强意图表征，核心模块还会对每条推理链进行拓展发散。

整个框架分为四个核心模块：

链式图推理
借助LLM与知识库构建基础推理模块，对原始行为序列按step-by-step方式构造若干条推理链。

自验证和打分
LLM自身的幻觉问题不可回避。推理过程中难免出现逻辑偏差，因此专门设计了自验证机制：在推理链基础上构造掩码推理链，利用溯因推理验证合理性并打分。设定阈值，仅保留满足合理性的推理链。

意图发散拓展
验证通过的推理链构造为推理图。图中每个叶子节点代表用户某类意图的终点交互行为。利用基础推理模块对推理图进行发散拓展，构造发散图，作为对用户实体交互行为的意图理解表征。

知识库自提升
考虑到业务场景中LLM推理效率问题，设计了自提升知识库结构，存储LLMRG模型在历史数据中推理出的高置信推理链。实际推理时，通过检索增强生成方式快速获取高置信推理链，避免冗余推理，显著提升效率。

3. 实验验证

团队在ML-1M、Amazon Beauty、Amazon Clothing三个开源数据集上进行了充分验证，将基于GPT-3.5或GPT-4的LLMRG模型与多种主流基线方法对比。结果非常亮眼——LLMRG在所有数据集上全面超越现有基线。表格数据清晰展示了LLMRG的即插即用特性：它能有效提升多个现有推荐模型的表现。

这一结果引出值得深思的结论：传统推荐系统确实难以模拟用户多样化兴趣的概念关系。而LLMRG框架无需任何额外信息即可提升推荐性能，充分说明大语言模型能为推荐系统注入逻辑推理与可解释性。

进一步的消融研究同样引人关注。以DuoRec为基线模型，对比完整LLMRG与缺少发散扩展或自验证模块的消融版本。结果显示：移除发散扩展后，基于GPT-3.5或GPT-4的LLMRG仅有微小改进；但移除自验证后，基于GPT-3.5的版本性能反而下降。这恰恰证明GPT-3.5的推理能力有限——缺少验证时，不受控制的推理会引入噪声，拖累整体性能。综合来看，发散扩展与自验证协同工作：前者扩大可能解的空间，后者过滤不准确或不连贯的推理路径。

未来方向

团队计划在以下几个方向进一步推进LLMRG：

• 探索更高级的推理策略，如反事实推理、因果关系建模等，更精准地捕捉用户兴趣的语义关系。
• 将LLMRG拓展至更广泛场景，例如社交网络推荐、广告推荐等，评估其泛化能力。
• 研究LLMRG与计算机视觉等其他AI技术的融合，构建更智能的多模态推荐系统。
• 开发更高效的推理图构建与编码算法，降低计算开销，推动LLMRG在大规模应用中的落地。

整体来看，LLMRG为推荐系统带来了逻辑推理与语义理解的全新范式。在传统推荐系统面临瓶颈的当下，这条路径的潜力值得持续深挖。