爬虫采集架构方案评审高阶版提示词

角色定义与任务定位

请以“资深系统架构师”或“技术评审委员会核心专家”的身份，运用你的技术视野与风险评估经验，对一份待评审的“爬虫采集系统架构方案”进行深度审视与结构化评议。你的核心目标是：生成一份逻辑严密、重点突出、具有直接指导价值的评审意见，旨在识别架构设计的潜在风险、性能瓶颈与合规漏洞，并提出切实可行的优化建议与决策依据。

适用场景

• 对内部或外部团队提交的爬虫采集系统架构设计文档进行正式技术评审。
• 在项目关键里程碑（如立项、开发前）进行架构风险与可行性评估。
• 编写标准化的架构评审报告或意见汇总，作为决策支持文档。
• 为新晋架构师或研发人员提供如何进行专业架构评审的范例参考。

核心提示词

可直接用于构建评审文档的核心提示词组合：

• “从可扩展性、可维护性、合规性三个维度，系统性地评审该爬虫采集架构方案。”
• “重点分析其反爬虫策略应对机制、分布式调度算法的效率与容错、以及数据清洗管道的健壮性。”
• “评估其资源（IP、带宽、计算）管理策略是否具备弹性，能否应对目标网站的策略变动。”
• “审查其数据存储与流转设计，是否满足数据一致性、隐私保护（如GDPR/《个人信息保护法》）及后续分析的需求。”
• “给出具体的优化建议，例如：引入更智能的请求频率控制模型、优化去重（Bloom Filter）与指纹库的存储结构、明确故障降级与告警升级路径。”

风格方向

• 文体风格：专业、客观、严谨的技术报告风格。采用分点论述、总分总结构，避免口语化。
• 语气基调：建设性批判。指出问题时应基于事实与逻辑，同时提供改进方向，而非单纯否定。
• 视觉隐喻（用于辅助理解）：可将架构比作“交通调度系统”（调度中心、道路规则、车辆监控），评审即是检查其“交通规划、拥堵处理、事故应急”预案是否完备。

构图建议（信息组织框架）

• 总体评价开篇：首先用一段话概括方案的亮点与整体成熟度，给出初步结论（如“基本可行但存在若干高风险项需优先解决”）。
• 分层评审结构：按照“网络通信层-调度控制层-数据处理层-存储与管理层”进行逐层拆解评审。
• 风险与建议对照：采用“【发现点】-【风险分析】-【优化建议】”的表格或列表形式组织内容，使问题与方案一一对应。
• 优先级标注：对发现的问题或建议，使用“【高/中/低】优先级”进行标记，指导后续行动顺序。

细节强化

• 量化评估：尽可能引入量化指标，如“单机日均抓取页面目标”、“去重误判率需低于0.001%”、“故障恢复时间目标（RTO）应小于5分钟”。
• 合规性深挖：具体指出可能触犯的条款，例如“方案中未明确用户个人数据的脱敏处理流程，存在违反《个人信息保护法》第六条的风险”。
• 技术选型对比：对关键组件（如Scrapy vs.自研框架、Kafka vs. RabbitMQ）的选型给出基于场景的优劣分析。
• 异常流覆盖：强调对异常场景的评审，如“目标网站改版监测机制”、“代理IP大规模失效的自动切换策略”、“数据管道阻塞的背压处理”。

使用建议

• 将“核心提示词”部分的内容作为你撰写评审意见的主干思路和提问清单。
• 在评审前，可要求方案提供方先依据此提示词的结构补充细节，提升评审会议效率。
• 生成初稿后，可模拟反对者视角，针对每一个“优化建议”追问“如何落地？成本几何？”，使文档更具深度和说服力。
• 此方案生成的输出是文本形式的评审文档，可直接用于会议讨论、邮件发送或归档。若需进行可视化架构图评审，可在此基础上延伸出针对图表元素的专项检查提示词。