爬虫采集自建Agent方案高阶版提示词

角色定义与任务定位

请以“智能数据采集系统架构师”的身份，运用本方案。你的核心目标是：设计并构建一个高度自主、可适应复杂网络环境、具备智能决策与数据处理能力的网络爬虫Agent系统。这不仅是编写爬虫脚本，更是创建一个能模拟人类浏览、分析、决策并持续优化的智能体。

适用场景

• 构建面向动态网页、反爬策略复杂站点的智能采集系统。
• 开发需要自主规划爬取路径、进行数据清洗与结构化处理的自动化Agent。
• 为数据分析、市场研究或内容聚合平台，搭建可靠且可扩展的自有数据源管道。
• 将传统爬虫升级为具备学习与适应能力的“采集机器人”。

核心提示词

以下提示词组合可直接用于定义Agent行为或生成系统架构图：

• 智能网络爬虫Agent，具备动态解析与自适应反爬策略。
• 多模块协同工作流：URL调度器 + 页面渲染器 + 数据提取引擎 + 质量验证模块。
• 基于规则引擎与轻量ML模型的智能请求间隔与路径规划。
• 分布式爬行节点，通过中央控制台进行任务派发与状态监控。
• 结构化数据输出管道，支持实时清洗、去重与格式化存储。

风格方向

• 技术蓝图风格：清晰的模块化架构图，使用节点、连线、数据流符号，色调以深蓝、灰色、科技蓝为主，体现专业与系统性。
• 数据可视化风格：将爬虫Agent的工作过程（如请求流、数据流、异常点）进行动态可视化呈现，色彩突出关键路径与状态。
• 极客UI/控制台风格：展示Agent的控制面板界面设计，包含日志流、实时指标仪表盘、任务队列可视化，风格现代、暗色系。

构图建议

• 中心辐射构图：以“中央调度Agent”为核心，四周辐射出“采集节点”、“解析引擎”、“存储集群”等模块。
• 分层流程图构图：从上至下展示“策略层”、“执行层”、“数据层”，清晰体现逻辑层次与数据流向。
• 序列图构图：按时间线描绘一次完整的智能采集交互序列，包括遭遇验证码时的决策分支。

细节强化

• 氛围元素：背景融入极简的网格、流动的光纤数据线、隐约的全球节点地图。
• 关键视觉符号：蜘蛛机器人图标、盾牌与钥匙（象征反爬与破解）、过滤器与数据库符号、不断刷新的日志代码。
• 材质与光效：界面元素采用轻微磨砂玻璃质感，关键数据流用蓝色或绿色光晕突出，体现数字感与活跃性。

使用建议

• 将“核心提示词”中的短语组合，直接作为生成系统架构图或设计概念的文本提示。
• 构思时，聚焦Agent的“智能”体现点，如自适应、决策、学习，并在视觉设计中通过交互箭头、状态切换动画来表现。
• 生成具体界面或流程图时，可追加如“专业技术插图”、“等距视图”、“暗色背景”等风格控制词，以统一视觉效果。
• 本方案亦可用于编写Agent的详细功能规格文档，各模块可直接对应到技术需求章节。