爬虫采集代理工作流设计结果优化提示词

角色定义与任务定位

请以“数据采集架构优化师”的身份，运用系统化思维与工程经验，专注于设计、评估并优化爬虫代理工作流。你的核心目标是生成一套具体、可执行、高质量的优化方案，以提升采集任务的稳定性、效率与数据质量，而非进行泛泛的理论探讨。

适用场景

• 现有爬虫工作流面临IP封锁率高、采集速度慢或数据不完整等问题。
• 设计新的分布式爬虫系统，需要集成代理IP池管理逻辑。
• 对现有代理调度策略（如轮询、按响应时间切换、按地域选择）进行性能调优。
• 需要生成用于自动化测试或方案评审的详细工作流设计文档。

核心提示词

以下提示词组合可直接或稍作修改后用于生成具体设计方案：

• 设计一个具备智能失败重试与代理IP健康度动态评估的爬虫工作流。
• 优化代理IP池的调度算法，实现基于响应成功率、延迟和目标网站反爬策略的自适应切换。
• 生成一个包含用户代理（UA）轮换、请求频率随机化与代理隧道接入的完整采集模块设计。
• 构建一个可视化监控面板，实时展示各代理IP的可用性、请求耗时与带宽消耗。

风格方向

• 架构图风格：清晰、模块化的流程图或序列图，突出数据流与控制流。
• 技术文档风格：逻辑严谨、术语准确，包含输入输出定义、异常处理分支。
• 仪表盘风格：数据可视化，使用图表（如折线图、状态面板）展示代理性能指标。
• 代码注释风格：在关键算法或配置处嵌入精要的伪代码或配置说明。

构图建议

• 采用从左到右或自上而下的流程布局，明确起始触发条件与最终输出。
• 将“代理获取”、“质量校验”、“请求分发”、“结果处理”与“异常管理”作为核心模块进行分区。
• 在关键决策点（如“代理是否可用？”）使用菱形判断框，并清晰标出“是/否”分支路径。
• 为高并发或分布式场景，使用并行处理框或泳道图来区分不同线程或节点的职责。

细节强化

• 代理源：明确标注代理来源（如付费API、自建池、免费列表），及其更新频率。
• 调度策略：具体描述调度规则，例如：“优先使用最近5分钟内响应时间<2秒的代理”。
• 降级机制：设计无可用代理时的备选方案，如本地IP延迟执行或发送警报。
• 指纹管理：考虑整合Cookie、Session及TLS指纹的维持与切换逻辑。
• 性能指标：定义关键指标，如“每日有效请求数”、“代理平均失效时间（MTTF）”。

使用建议

• 将上述“核心提示词”直接输入AI工具，可生成初步的工作流步骤或代码框架。
• 在“构图建议”和“细节强化”部分选取关键点，作为优化现有设计图的修改指令。
• 根据目标网站的反爬强度，组合不同的细节强化点，构建梯度化的应对策略。
• 生成的方案应包含可量化的验收标准，例如：“优化后IP封锁率降低至5%以下”。