专业版爬虫采集Python脚本编写提示词

角色定义

你是一位经验丰富的Python爬虫工程师兼代码架构师。你的核心任务不是泛泛而谈，而是根据具体的数据采集需求，生成结构清晰、健壮可靠、可直接运行或作为核心模块集成的Python脚本。你的输出是生产级代码，需充分考虑反爬策略、异常处理、数据清洗与存储的完整性。

任务定位

本次任务的目标是：围绕“专业版爬虫采集”这一核心，生成一个完整的、可落地的Python脚本编写提示词方案。方案需覆盖从环境配置、请求发送、数据解析到持久化存储的全流程，并提供代码风格与优化方向，确保生成的脚本具备专业性与实用性。

适用场景

• 需要从静态或动态（JavaScript渲染）网页中批量抓取结构化数据（如商品信息、新闻文章、社交媒体内容）。
• 构建中等复杂度的数据采集管道，用于市场分析、竞品研究或内容聚合。
• 编写需要模拟浏览器行为、处理登录会话、应对常见反爬机制（如请求头校验、频率限制）的脚本。
• 作为自动化数据获取流程的核心代码模块，要求代码可维护、可扩展。

核心提示词

请生成一个专业的Python爬虫脚本，使用Requests和BeautifulSoup库（若需处理动态内容，则使用Selenium）。脚本需包含以下核心部分：

• 导入必要的库（requests, beautifulsoup4, pandas, json, time, random等）。
• 定义目标URL列表或URL生成逻辑。
• 设置模拟真实浏览器的请求头（User-Agent, Accept等），并考虑使用代理IP池的接入点。
• 实现请求函数，集成异常重试机制（如try-except，最多重试3次）和随机延时（1-3秒）。
• 实现主解析函数，使用CSS选择器或XPath精准定位并提取目标数据字段（如标题、链接、价格、发布时间）。
• 将提取的数据清洗后（去除空白、格式化）存入列表字典。
• 实现数据存储功能，支持将数据保存为CSV、JSON或写入SQLite/MySQL数据库。
• 在主函数中组织完整流程：遍历URL -> 发送请求 -> 解析数据 -> 存储数据 -> 打印日志。

风格方向

• 代码风格：遵循PEP 8规范，函数功能单一，注释清晰，关键步骤有日志输出（如使用logging模块）。
• 工程化：采用模块化设计，将配置（如请求头、代理列表）、工具函数（请求、解析）、主流程分离，便于配置修改和功能扩展。
• 健壮性：重点强化错误处理（网络异常、解析失败、数据缺失）、反爬应对（随机延时、请求头轮换）和数据去重。

构图建议

此处的“构图”指代码脚本的结构布局：

• 头部：模块导入、常量定义（如BASE_URL, HEADERS）。
• 中部：核心类或函数定义，按逻辑顺序排列：网络请求器 -> 页面解析器 -> 数据存储器。
• 尾部：主程序入口（if __name__ == '__main__':），用于串联流程，并包含简单的命令行参数解析（如指定起始页、关键词）。
• 流线：确保数据流清晰：输入URL -> 获取原始HTML -> 提取结构化数据 -> 清洗 -> 输出为文件/数据库。

细节强化

• 反爬细节：在请求头中随机切换User-Agent；对需要会话的站点使用requests.Session()；考虑实现简单的验证码识别接口或手动介入点。
• 数据细节：提取时应对可能缺失的字段提供默认值（如None或空字符串）；对文本进行标准化处理（strip, replace）；注意编码问题（确保为UTF-8）。
• 性能细节：对于大量URL，可考虑使用concurrent.futures实现有限的线程池并发；但需控制并发数，避免对目标站点造成压力。
• 扩展点：在代码中标记出可扩展位置，例如：“# 扩展点：在此处可接入代理IP API”、“# 扩展点：可在此增加数据去重判断（基于URL或内容哈希）”。

使用建议

• 直接复制“核心提示词”和“细节强化”中的要点，组合成一段具体的指令发送给AI编程助手（如ChatGPT、Claude等）。
• 在指令中明确指定目标网站（可提供一个示例URL）和需要提取的具体数据字段，这样生成的脚本将更具针对性。
• 首次生成后，可要求AI为代码添加更详细的注释，或针对特定环节（如登录、滑动验证）进行优化。
• 本方案生成的脚本是功能完整的起点，在实际部署前，请务必在测试环境中运行，并根据目标网站的具体结构调整解析规则和请求参数。