专业版爬虫采集产品需求写作提示词

角色定义与任务定位

请以“资深数据产品经理”或“技术需求分析师”的身份，运用本方案。你的核心目标是：为开发一款面向企业级用户的专业爬虫采集工具，撰写一份逻辑严密、细节清晰、可直接指导开发与测试的产品需求文档（PRD）。

适用场景

• 为内部开发团队撰写爬虫采集系统或模块的详细产品需求说明书。
• 向客户或合作伙伴展示专业版爬虫工具的核心功能与设计思路。
• 作为产品功能规划与优先级评审的详细依据材料。

核心提示词

将以下结构化提示词组合，作为你撰写需求文档的核心框架与内容指引：

• 核心功能定义：分布式任务调度、动态反爬策略应对、多格式数据解析与清洗、实时监控与告警、可配置的采集频率与深度。
• 关键性能指标：高并发处理能力、数据抓取成功率与准确率、系统资源占用优化、数据更新延迟。
• 用户角色与用例：数据工程师（配置复杂任务）、业务分析师（定义数据规则）、系统管理员（监控与维护）。
• 非功能性需求：系统稳定性与可用性、数据安全与隐私合规、日志审计与操作追溯、API接口设计与版本管理。

风格方向

• 文档风格：采用严谨、客观、无歧义的技术文档风格，避免营销性语言。
• 结构层次：遵循“概述-用户故事-功能详情-数据模型-业务流程-非功能性需求”的经典PRD结构。
• 表达基调：专业、精准、注重逻辑链条，每个需求点都应具备“背景-目标-方案-验收标准”的完整描述。

构图建议（文档结构隐喻）

将整份文档想象为一幅清晰的系统架构图：

• 远景与目标（图标题）：明确产品解决的商业问题与技术价值。
• 核心模块（主体结构）：任务管理引擎、爬虫调度器、数据处理管道、监控仪表盘。
• 数据流（连接线）：清晰描绘从URL输入、到原始数据抓取、再到结构化数据输出的完整链路。
• 外部接口（边界与连接点）：明确与身份认证系统、数据存储系统、第三方通知服务的交互方式。

细节强化

• 反爬策略具体化：详细描述应对IP封锁、验证码、动态加载（如JavaScript渲染）、请求频率限制的具体技术方案（如代理IP池、验证码识别服务、无头浏览器集成、智能延时策略）。
• 数据清洗规则示例：给出具体的数据去重规则（如基于URL哈希值或内容指纹）、字段提取规则（如使用XPath或CSS选择器）、格式标准化（如日期时间统一为ISO 8601格式）的示例。
• 异常处理流程：定义任务失败后的重试机制（次数、间隔）、错误分类（网络错误、解析错误、反爬拦截）与对应的告警级别和处理流程。

使用建议

• 在撰写时，请将“核心提示词”中的每一项展开为独立的章节或子章节，并填充具体的业务逻辑描述、输入输出示例和界面原型（如需）。
• 优先使用“用户故事”（As a... I want to... So that...）的格式来描述功能需求，确保需求源于实际场景。
• 为每个功能需求定义明确的、可量化的“验收标准”，例如：“在配置正确的前提下，对目标网站列表的首次抓取成功率应不低于99.5%”。
• 本方案提供的是一套方法论和内容框架，请根据你所在公司的具体技术栈、业务场景和合规要求进行填充和定制。