推荐系统分层设计：候选生成、过滤、排序与多样性
推荐系统并非单一算法，而是一条多阶段流水线——每个环节在不同约束下解决特定问题。许多入门教程将所有步骤压缩为“计算相似度”一步，但生产级系统必须实现关注点分离，将质量、速度与行为独立管控。
下面拆解一条可实际搭建并持续扩展的端到端推荐Pipeline。
写代码前，先问自己三个核心问题：
Item 具体是什么（电影？商品？帖子？），用户行为怎么定义（点击？观看？购买？），衡量成功的指标是什么（CTR？观看时长？留存率？）。
定义一旦模糊，后续所有优化方向都会偏离轨道。
数据层（实际使用的数据）
需要两类数据。Item 数据：元数据（类型、标签、描述）、时间戳（发布时间、更新时间）、热度指标（浏览量、评分）。用户数据：交互历史（点击、观看、跳过）以及对应的时间戳。
最简数据结构大致如下：
items = {
"id": 1,
"genre": ["action", "sci-fi"],
"popularity": 0.8,
"timestamp": 2024
}
user = {
"history": [1, 5, 9],
"recent": [5, 9]
}候选生成（缩小搜索空间）
对全量数据做排序，工程上基本不可行。因此第一步是把候选集从数千缩减到数百。
常用手段包括基于内容过滤、关键词匹配、向量相似度检索：
candidates=get_similar_items(user["recent"])这里的要求很简单——速度快、覆盖广，不追求精确。
过滤层（剔除不合适的选项）
排序之前，先去掉明显不该出现的结果：已看过的内容、过时条目、无效记录。
candidates = [
i for i in candidates
if i not in user["history"]
]单独完善这一步，系统整体质量就能显著提升。
特征工程（准备信号）
每个候选项需要计算多维信号：相似度分数、热度分数、新鲜度分数、用户偏好匹配度：
def compute_features(user, item):
return {
"similarity": sim(user, item),
"popularity": item["popularity"],
"recency": 1 / (current_year - item["timestamp"] + 1)
}排序层（核心决策引擎）
多维信号需要组合成一个最终分数：
score= (
0.5*similarity+
0.3*popularity+
0.2*recency
)权重并非固定值。它取决于 item 目标、用户行为模式以及 A/B 实验结论，需要持续调整。
多样性注入（避免重复）
跳过这一环节，推荐结果会迅速坍缩到单一类别。
因此先选出得分最高的物品，之后每选一个新物品，对其与已选集合的相似度施加惩罚：
adjusted_score = score - λ * similarity_with_selected最终选择（Top-N 输出）
选出排序后的前 N 个结果：
final = sorted(candidates, key=lambda x: x["score"], reverse=True)[:10]这就是最终呈现给用户的推荐列表。
反馈收集
没有反馈，系统就失去了迭代依据。需要追踪的核心事件：点击、跳过、停留时长。
feedback = {
"clicked": [item_id],
"skipped": [item_id]
}更新机制（使系统具备自适应能力）
反馈数据用来调整用户画像和特征权重：
if item in feedback["clicked"]:
increase_weight("similarity")
if item in feedback["skipped"]:
decrease_weight("similarity")完整 Pipeline 流程
用户 → 候选生成 → 过滤 → 特征 → 排序 → 多样化 → 输出 → 反馈 → 更新
每个模块相互独立，可以单独替换和优化。
总结
推荐系统的核心不在于找到相似的物品，而在于在约束条件下选出合适的物品。
一个系统如果能做到有效过滤、基于多维信号排序、根据反馈持续调整，它就不再只是一个练手项目——而是一个可以在生产环境中运行的系统。