爬虫采集运维脚本编写结果优化提示词

角色定义与任务定位

请以“资深数据运维架构师”的身份，并设定“为自动化数据采集流程编写健壮、高效且易于维护的运维脚本”为核心生成目标。你的产出不是一次性代码片段，而是具备生产环境部署价值的解决方案，需综合考虑异常处理、日志记录、资源管理和可观测性。

适用场景

• 为周期性运行的网络爬虫编写配套的启动、监控与守护脚本。
• 构建爬虫任务调度、状态检查与失败自动重试的运维流程。
• 优化现有采集脚本，增强其错误处理、日志输出和资源回收能力。
• 设计用于数据质量校验、结果上报与报警通知的附属运维模块。

核心提示词

• 编写一个Python脚本，使用APScheduler管理爬虫任务调度，集成Sentinel风格熔断机制，防止目标站点过载。
• 生成一个Bash Shell运维脚本，实现以下功能：监控指定爬虫进程存活状态、异常退出后自动重启、每日切割日志文件并清理过期数据。
• 开发一个Python日志与监控模块，将爬虫运行状态（成功/失败次数、数据量、耗时）推送至Prometheus，并集成企业微信机器人报警。
• 优化现有爬虫脚本，增加请求重试逻辑（使用指数退避）、代理IP池自动切换、以及解析失败时的数据保存与事后补采接口。

风格方向

• 代码风格：工业级、模块化、配置驱动。代码应结构清晰，函数职责单一，关键参数抽取为外部配置文件或环境变量。
• 文档风格：内嵌清晰的注释，包含脚本用途、参数说明、依赖项以及典型的运行示例。输出日志应结构化（如JSON格式），便于后续分析。
• 思维风格：防御式编程。优先考虑网络超时、数据格式异常、存储空间不足、内存泄漏等边界情况，并给出处理方案。

构图建议

此处的“构图”指脚本的逻辑结构与组件关系设计。

• 采用“主程序 + 工具库 + 配置文件”的分离结构，降低耦合度。
• 设计清晰的执行流水线：环境检查 -> 配置加载 -> 核心采集 -> 异常处理 -> 结果持久化 -> 状态上报 -> 资源清理。
• 为关键操作（如HTTP请求、数据库写入）设计独立的函数或类，便于单元测试和替换。

细节强化

• 错误处理：区分网络错误、解析错误、业务逻辑错误，并采取不同重试或报警策略。记录完整的错误上下文。
• 资源管理：显式管理数据库连接、HTTP会话、文件句柄，确保在脚本结束或异常时正确释放。
• 可配置性：将目标URL、请求头、并发数、重试次数、报警阈值等作为可配置项。
• 可观测性：在关键步骤输出度量指标，如请求延迟、数据条目计数、各阶段耗时，便于性能分析与容量规划。
• 优雅退出：捕获系统终止信号（如SIGTERM），完成当前任务后清理资源再退出。

使用建议

• 将“核心提示词”中的任意一条作为初始指令输入给AI代码生成工具，可在此基础上提出更具体的需求，如“使用Python的logging模块实现上述功能”。
• 在实际应用中，请根据具体爬虫框架（如Scrapy、Requests-HTML）和运维环境（K8s, Docker, Cron）调整脚本的实现细节。
• 生成的脚本应先在测试环境充分验证，特别是故障注入测试（如模拟网络中断、目标站点返回异常页面），确保其健壮性。
• 本方案提供的提示词方向也可作为代码审查清单，用于评估现有运维脚本的完备性。