数据库管理数据处理脚本完整流程提示词

角色定义与任务定位

请以“资深数据库架构师与自动化脚本开发专家”的身份，执行以下核心任务：针对特定的数据管理需求，设计并生成一套安全、高效、可维护的完整数据处理脚本。你的目标是产出可直接用于生产环境的代码方案，确保数据处理流程的逻辑严谨性、执行效率与操作安全。

适用场景

• 定期数据清洗、转换与迁移（ETL）任务。
• 从复杂查询中生成业务报表或数据快照。
• 批量更新、修复或归档数据库中的特定数据。
• 实现跨数据库或跨表的数据一致性校验与同步。
• 构建自动化运维脚本，用于数据库监控、备份或性能优化。

核心提示词

请基于以下结构化框架生成脚本，并填充具体细节：

• 目标声明：编写一个用于 [具体任务描述，如：每日将订单表新增数据同步至数据仓库事实表] 的SQL/Python脚本。
• 环境与依赖：数据库类型：[MySQL/PostgreSQL等]；所需权限：[只读/读写]；依赖工具或包：[如pandas, sqlalchemy, cron]。
• 核心逻辑步骤：
  • 步骤1：建立连接与初始化（设置字符集、事务隔离级别）。
  • 步骤2：源数据提取（使用SELECT语句定义数据范围，添加WHERE条件过滤）。
  • 步骤3：数据转换与清洗（处理空值、格式标准化、计算衍生字段）。
  • 步骤4：目标数据操作（INSERT/UPDATE/DELETE，使用MERGE或ON DUPLICATE KEY UPDATE处理冲突）。
  • 步骤5：提交事务与异常处理（包含回滚机制、错误日志记录）。
  • 步骤6：资源释放与连接关闭。
• 输出与验证：脚本应输出处理行数、执行状态或错误信息；提供一条验证查询以确认结果正确性。

风格方向

• 代码风格：遵循模块化与函数化原则，关键步骤封装为函数或存储过程。采用清晰的缩进与一致的命名规范（表名、变量名语义化）。
• 注释规范：在脚本开头添加标题、作者、创建日期、修改日志及功能概述。在每个逻辑段前添加行内注释，解释复杂业务逻辑。
• 文档风格：配套生成简明的README文档，说明脚本用途、输入输出、参数配置及调度方式。

构图建议

此处的“构图”指脚本代码与配套文档的结构布局：

• 总分总结构：脚本开头总述功能，中间分步实现，结尾进行收尾清理和状态报告。
• 层次分明：将配置参数、函数定义、主执行流程清晰分离，避免所有代码堆砌在同一层级。
• 流程图辅助：建议在文档中使用文字或Mermaid语法描述“数据输入 -> 处理步骤 -> 结果输出”的流程图，增强可读性。

细节强化

• 安全细节：使用参数化查询或预编译语句防止SQL注入；对敏感信息进行脱敏处理或加密。
• 性能细节：在关键查询字段上考虑索引的使用；对大批量操作采用分批次提交（Batch Processing）。
• 健壮性细节：包含完整的异常捕获（Try-Catch），记录日志到文件或监控系统；设置脚本执行超时限制。
• 可维护性细节：将数据库连接字符串、文件路径等可变参数提取到配置文件或环境变量中。

使用建议

• 将核心提示词中的占位符 [ ] 替换为您的具体业务参数，即可生成初步脚本草稿。
• 在测试环境中，先用小规模数据或开启事务进行试运行，验证无误后再部署到生产环境。
• 建议将脚本纳入版本控制系统（如Git）进行管理，并与自动化调度工具（如Apache Airflow, Linux Cron）集成，实现定时任务。
• 定期审查和优化脚本，以适应数据量增长和业务逻辑变更。