爬虫采集模型选型比较高阶版提示词

角色定义与任务定位

请以“资深数据架构师”或“技术选型顾问”的身份，运用你的专业知识和分析框架，核心目标是：为特定的数据采集项目，系统化地评估和比较不同爬虫模型或框架的优劣，生成一份深度、客观、可直接指导决策的对比分析报告或评估方案。

适用场景

• 为新项目或系统重构进行爬虫技术栈的选型评估。
• 对比成熟框架（如Scrapy、Playwright）与新兴AI驱动采集方案（结合LLM、OCR模型）的适用性。
• 针对反爬策略复杂、数据结构非标准化的“困难目标”网站，评估不同模型组合的突破能力。
• 在成本（计算资源、开发维护）、效率（采集速度、稳定性）与数据质量（准确性、完整性）之间寻求最佳平衡点的决策分析。

核心提示词

以下提示词可直接组合或单独使用，填入具体项目参数以生成针对性分析：

• “作为技术选型顾问，请从抗反爬能力、开发效率、可扩展性、资源消耗、数据质量五个核心维度，对比分析Scrapy框架与基于Playwright+LLM解析模型的混合方案，用于采集[例如：动态加载、JSON接口复杂]的电商网站商品详情数据。请以表格形式呈现优劣势，并给出最终选型建议。”
• “针对[例如：需要登录、验证码频繁、数据结构化程度低]的金融资讯网站，设计一套分阶段的爬虫模型选型测试方案。第一阶段评估传统正则表达式与XPath提取的稳定性；第二阶段引入深度学习OCR模型处理验证码与复杂排版文本；第三阶段评估大语言模型（LLM）用于非结构化文本信息抽取的准确率与成本。输出详细的测试指标与选型决策树。”
• “撰写一份技术报告，主题为：‘高并发分布式爬虫场景下，基于Celery的任务队列模型与基于Kubernetes的容器化调度模型选型比较’。重点分析两者在任务调度粒度、故障恢复机制、水平扩展难度、监控复杂度方面的差异，并给出不同数据规模（日采百万级、千万级）下的推荐架构。”

风格方向

• 专业报告风：采用客观、严谨的学术或技术报告语调，结构清晰，论点有数据或案例支撑。
• 决策备忘录风：语言精炼，直击要害，采用“背景-分析-建议”的框架，便于团队快速达成共识。
• 对比评测风：采用分点对比、评分制或雷达图（描述性）的方式，直观展示各模型在不同维度上的表现。

构图建议（分析框架构建）

• 总分总结构：开篇明确选型背景与核心挑战；中间分维度详细对比；结尾给出加权后的综合建议。
• 维度矩阵构图：将“评估维度”（如开发成本、维护成本、性能、合规风险）与“候选模型”构建成矩阵，逐一填充关键发现。
• 场景化叙事：围绕一个具体的、从易到难的采集任务流（如列表页-详情页-反爬绕过-数据清洗），描述不同模型在每个环节的表现与衔接方案。

细节强化

• 量化指标：在分析中融入具体的量化对比，如“模型A的解析准确率预计可达99%，但单次API调用成本为0.01美元；模型B准确率约95%，但为本地部署，无直接调用成本”。
• 风险提示：明确指出每种选型的潜在风险，例如“采用激进JS逆向方案可能面临法律风险”、“依赖第三方云服务API存在服务稳定性与价格变动风险”。
• 扩展技术词：适时引入关键术语，如“渲染开销”、“指纹对抗”、“代理IP池管理”、“结构化数据模式（Schema）匹配率”、“请求伪装度（Header完整性）”等，提升分析深度。
• 成本效益分析：不仅考虑技术实现，也估算开发人力成本、长期运维成本及云资源消耗成本。

使用建议

• 将上述“核心提示词”作为模板，替换方括号[]内的具体场景描述，即可生成针对性的分析初稿。
• 在生成内容后，可进一步要求AI“为这份分析报告生成一个执行时间线甘特图（用文字描述）”或“补充一份POC（概念验证）测试用例清单”。
• 本方案生成的输出是结构化的分析文本，可直接用于技术文档、选型会议材料或项目立项书的技术可行性部分。
• 对于极度复杂的场景，建议采用“分步提示”：先让AI列出所有相关模型与评估维度，再针对重点维度进行深入对比。