得物生成式召回技术:实战测评与架构深度解析
推荐系统长期面临一个根本性矛盾:个性化越精准,内容视野反而越狭窄。这如同一位只为你重复播放最爱歌曲的DJ,初期体验愉悦,久而久之却令人感到困乏。信息茧房与兴趣收敛,在“推荐-反馈”的强化循环中日益固化。如何平衡精准与惊喜,成为所有内容平台必须破解的核心命题。
生成式AI的兴起,为推荐领域带来了范式变革的契机——从“匹配已知兴趣”转向“预测潜在需求”。这不再是基于历史行为的机械检索,而是通过理解用户行为模式,主动生成其下一个可能感兴趣的内容。对于得物这类以潮流为核心的社区,用户对多样性与新奇感的天然追求,为生成式召回提供了理想的落地场景。我们的一期实践,旨在验证该技术路径的可行性,并探索推荐系统自身的“规模法则”。
一、背景:从“匹配已知”到“预测潜在”的范式跃迁
要评估生成式召回的价值,需先厘清传统方法面临的天花板。
传统判别式ANN召回的局限性
传统基于向量检索的召回,本质是一个高效的“记忆系统”,其局限也源于此:
时序建模的短板: 难以精细刻画用户兴趣的动态演变。一次短暂的潮流追逐与一项长期爱好,在静态向量表征中容易被模糊处理。
兴趣多样性的困境: 基于历史行为的匹配,易陷入“强者恒强”的反馈循环,不断强化用户的主兴趣,导致推荐列表趋同化。
天花板可见: 判别式模型仅在已有数据分布内进行优化,难以突破现有框架,预测用户尚未察觉的潜在兴趣方向。
兴趣融合的生硬: 对用户多个兴趣点的处理通常是割裂的,缺乏端到端模型来理解“喜欢球鞋”与“关注穿搭”之间的协同关系。
生成式召回的核心优势
生成式召回则引入了全新的“思维模式”:
Next-Token Prediction范式: 借鉴大语言模型的成功经验,将预测用户下一个点击内容建模为序列生成任务。这天然实现了对用户多兴趣的端到端融合建模。
引导式召回机制: 生成过程可通过注入类目等条件进行引导,确保召回结果在具备新颖性的同时,保持业务相关性。
强大的时序依赖建模: 基于Transformer架构,能自然捕捉行为序列中的长程依赖关系,理解兴趣的演变脉络。
兴趣的预测与拓展: 其核心能力不仅是匹配,更是基于模式进行预测,为打破信息茧房提供了技术基础。
端到端的优化路径: 从原始行为序列直接到召回结果,减少了传统多阶段 pipeline 中的信息损失与误差累积。
令人期待的Scaling Law: 初步实践表明,随着模型规模与训练数据的增长,其效果提升曲线与传统判别式模型存在差异,预示着更大的性能潜力。
二、技术方案:生成与排序的协同交响
我们的生成式召回系统,是一个由Generative Model(生成模型)与Rerank Model(重排模型)联合训练的端到端架构。两者协同工作,确保召回结果兼具“探索性”(生成新颖)与“准确性”(排序相关)。
Generative Model设计细节
生成模型作为系统的“决策中枢”,其设计聚焦于精准预测:
主序列特征: 模型以用户最近100次对图文、视频的有效点击序列为核心输入,同时附上内容对应的一、二、三级类目信息,提供丰富的上下文特征。
首位User Token策略: 这是一个关键设计。我们联合训练了一个辅助双塔模型,专门用于产出代表用户全局兴趣的“起始令牌”。通过梯度隔离技术,确保生成任务与双塔表征学习任务能独立优化,互不干扰。
模型参数配置: 在保障线上推理效率的前提下,我们采用了当前DeepRec框架能支撑的较大参数规模(3层Transformer,4个头,64维隐层),并加入位置编码,以强化对行为顺序的建模能力。
Rerank Model设计细节
重排模型扮演“精算师”角色,负责对粗筛结果进行精细化评估:
联合训练机制: 重排模型的Item塔和User塔并非独立训练,而是与生成模型共享底层特征,并通过最终的召回目标(如点击率)进行联合优化。这保证了生成与排序环节在特征表示上的一致性。
多任务梯度平衡: 生成任务(预测类目)和重排任务(预测点击)的损失需要动态配比。我们设计了自适应权重分配策略,确保两个任务在训练过程中梯度协同,共同优化整体召回效果。
推理过程:从一级类目生成到精准召回
线上服务时,系统遵循一套高效的“四步走”流水线,兼顾了生成式模型的创造力与向量检索的即时性。
一级类目生成
推理的第一步,是驱动生成模型的Decoder,产出Top-K个最可能的一级类目。经过大量离线实验对比Recall@100指标,我们最终将K值定为4,在召回多样性与计算成本间找到了平衡点。这4个生成类目,成为后续步骤的“导航条件”。
多兴趣向量构造
随后,系统以这4个类目为条件,分别调用条件双塔中的User Tower,生成4个独立的用户兴趣向量(分别对应图文和视频)。这相当于将用户的复合兴趣“解耦”为几个清晰的兴趣频道,避免了所有兴趣混杂于单一向量导致的模糊性。
ANN召回与Rerank排序
每个兴趣向量独立进入海量候选物料库进行ANN向量检索,召回一批相关Item。接着,重排模型对这些来自不同“频道”的候选结果进行统一打分与排序。最终,通过“蛇形合并”策略,将多兴趣通道的结果交错融合,形成既多样又精准的最终召回列表。
三、实验效果:数据驱动的价值验证
任何技术方案的最终检验标准都是线上效果。我们在得物社区场景进行了严格的AB测试,结果验证了生成式召回在工业级场景的可行性,并揭示了其潜力空间。
核心消费指标显著提升
在代表用户粘性与深度的核心消费指标上,生成式召回带来了全面且显著的提升。这表明,在拓宽兴趣边界的同时,并未牺牲内容的相关性。
多样性指标改善
更值得关注的是其在打破信息茧房方面的作用。实验数据显示,用户曝光与点击内容的类目分布明显更加分散,兴趣广度得到有效拓展。这意味着,系统正成功地将用户引向那些他们可能喜欢但尚未被历史行为明确记录的领域。
未来工程优化方向
一期实践是起点。从工程落地角度,我们已明确后续优化路径:
框架迁移: 计划从DeepRec迁移至DeepSea-Torch框架,以获得对更大参数量模型与更复杂稀疏特征的支持能力。
架构升级: 探索One-Rec等下一代推荐框架,旨在统一生成式与判别式召回范式,降低系统复杂度。
推理加速: 研究模型压缩、量化等前沿技术,在效果无损或微损的前提下,显著降低服务延迟与资源消耗。
成本优化: 通过改进训练策略、优化资源调度,追求单位效果提升背后的成本最小化。
四、总结与展望
得物生成式召回的一期实践,成功验证了“生成预测+引导召回”技术路径的工业可行性。它证明,我们完全有可能在可控成本下,同时提升用户消费深度与兴趣广度,为构建下一代更智能、更懂用户的推荐系统提供了扎实的工程参考。
当然,当前方案以一级类目为生成目标,更多是出于系统稳定性与结果可解释性的考量。自然的演进方向是“粒度下沉”:基于社区内容训练更细粒度的Item Embedding,并将其离散化,与用户的Next-Token生成任务进行联合训练。这将实现从粗粒度类目到细粒度内容的跨越,让召回精度再上台阶。
模型能力升级
随着框架迁移,模型容量将不再是瓶颈。我们可以探索更强大的生成式架构,例如扩展用户行为序列的上下文窗口,以建模更长期的兴趣演变;或改进注意力机制,采用稀疏注意力等技术,在效果与效率间寻求更优解。
与LLM结合的可能性
生成式召回与大语言模型的结合,充满想象空间。LLM蕴含的庞大世界知识,能帮助系统识别用户潜在、抽象甚至未明确表达的兴趣(例如,从“喜欢极简风家居图”联想到“可能欣赏侘寂美学”)。生成式模型则可将这些高阶洞察,转化为具体的、可执行的召回策略。二者结合,有望形成“知识增强的生成式召回”新范式。
多模态与跨域生成
未来的用户兴趣表示必将超越单一的ID序列。利用多模态信息(图像、文本、视频特征)生成更丰富、立体的用户兴趣向量,是一个明确方向。更重要的是,在得物“社区+电商”的生态内,探索跨业务域的生成式兴趣迁移极具价值。如何让用户在社区内容中流露的审美偏好,平滑过渡到电商商品的选择上,实现真正的“所见即所购”,将是提升业务协同价值的关键。生成式召回,或许正是打通这“最后一公里”的核心桥梁。


