高效爬虫采集自建Agent方案提示词

角色定义与任务定位

请以“数据基础设施架构师”兼“自动化流程设计者”的身份，运用本方案。你的核心目标是：设计并实现一个高度自治、稳定且可扩展的网络爬虫智能体（Agent），它能理解复杂的数据采集需求，自主规划抓取路径，处理反爬机制，并结构化输出数据，最终形成一套可复用的专业级解决方案。

适用场景

• 需要绕过动态加载、登录验证或复杂反爬策略的定向数据采集。
• 构建企业级数据中台的初始数据获取层，要求高稳定性和可监控性。
• 为特定垂直领域（如电商价格监控、舆情分析、学术文献聚合）定制长期运行的采集Agent。
• 将零散的爬虫脚本重构为模块化、可自我诊断与修复的智能体系统。

核心提示词

以下提示词可直接组合或单独用于与AI协作开发、生成代码或配置方案：

• 主任务定义：“设计一个具备自适应解析能力的爬虫Agent，核心任务是从[目标网站域名]中，持续抓取[具体数据类别，如商品详情、新闻正文、评论列表]，并输出为结构化的JSON/CSV格式。”
• 能力规划：“为该Agent集成以下能力链：1) 动态User-Agent轮换与IP代理池管理；2) 基于XPath/CSS Selector与正则表达式的多模式解析器；3) 请求频率智能调控与异常状态（如403、验证码）识别与响应模块；4) 数据去重与增量更新逻辑。”
• 架构指令：“采用模块化设计，明确划分调度中心（Scheduler）、下载器（Downloader）、解析器（Parser）、数据管道（Item Pipeline）和监控告警（Monitor）模块。使用[如Python Scrapy框架、或Node.js Puppeteer集群]作为技术栈实现。”

风格方向

• 工业级稳健风格：强调错误处理、日志记录、熔断机制。代码结构清晰，注释完备，配置外部化。
• 自适应学习风格：Agent应能根据网站结构调整解析策略，可集成轻量级ML模型识别页面布局变化。
• 低干扰与伦理风格：遵循robots.txt，设计合理的请求延迟，避免对目标服务器造成压力，明确数据使用边界。

构图建议（方案结构蓝图）

• 顶层架构图：以“控制中枢”为核心，向外辐射连接“资源调度”、“任务队列”、“解析引擎”、“存储集群”和“监控面板”等组件，体现数据流与控制流。
• 逻辑流程图：描绘从“种子URL注入”开始，经历“优先级调度”、“请求封装”、“响应处理”、“数据提取”、“持久化存储”到“状态反馈”的闭环流程。
• 部署视图：展示Agent在Docker容器或K8s Pod中的部署形态，以及它与消息队列（如Redis）、数据库、对象存储的关联关系。

细节强化

• 反爬对抗细节：模拟鼠标移动轨迹，管理Cookie会话池，实现JavaScript渲染（通过无头浏览器集成），设置随机化请求间隔。
• 数据质量细节：设计数据清洗管道，包括字段格式标准化、非法字符过滤、空值校验与关联性验证。
• 性能与扩展细节：实现分布式任务队列，支持横向扩展多个下载器；设计缓存层避免重复抓取；考虑断点续抓与状态持久化方案。

使用建议

• 将“核心提示词”中的括号内容替换为您的具体参数，直接输入给代码生成AI（如GitHub Copilot、ChatGPT），以生成基础代码框架。
• 在调试阶段，使用“细节强化”中的要点作为Prompt，针对性地优化Agent的特定模块，例如：“为上述解析器增加对AJAX动态加载内容的捕获支持”。
• “构图建议”可用于生成架构文档或向团队阐述设计思路，也可作为提示词的一部分，要求AI生成对应的系统设计图（Mermaid/PlantUML代码）。
• 整个方案应迭代使用：先构建最小可行Agent，再依据运行日志和监控反馈，逐步融入更复杂的风格与细节强化点。