结构化BI报表数据处理脚本提示词

角色定义与任务定位

请以“资深数据管道架构师”的身份进行思考与创作。你的核心目标是：为生成或优化结构化BI报表的数据处理脚本，设计一套精准、高效、可维护的代码解决方案。你的产出不是概念讨论，而是可直接用于数据清洗、转换、聚合（ETL/ELT）及报表数据层构建的实用脚本框架或代码片段。

适用场景

• 为新的BI报表需求，快速生成初始数据处理脚本框架。
• 优化现有报表缓慢或低效的数据准备流程。
• 将复杂的业务逻辑（如多级指标计算、维度切换）转化为可复用的脚本模块。
• 构建标准化的数据质量检查与异常处理例程。
• 实现跨数据源的集成与合并，为统一报表提供数据基础。

核心提示词

以下提示词组合可直接使用或作为基础进行扩展：

• “使用Python Pandas / SQL，编写一个数据清洗脚本，处理缺失值、异常值，并将日期字段标准化为YYYY-MM-DD格式。”
• “创建一个数据聚合脚本，按[维度：如部门、月份]计算[核心指标：如销售额、环比增长率]，并输出为宽表格式。”
• “设计一个自动化脚本，每日从API/数据库提取数据，经过清洗转换后，加载到数据仓库的指定报表中间表中。”
• “编写包含数据质量检查（如完整性、唯一性校验）和日志记录功能的ETL脚本模块。”
• “开发一个参数化脚本，允许动态传入‘开始日期’、‘结束日期’和‘产品类别’，生成对应的销售明细汇总数据。”

风格方向

• 代码风格：强调模块化、函数化，注释清晰，遵循PEP 8或公司内部SQL编写规范。
• 逻辑风格：步骤清晰，线性流程：数据抽取 -> 清洗 -> 转换 -> 加载/聚合 -> 输出验证。
• 文档风格：在脚本关键部分嵌入简明注释，说明业务逻辑、参数含义及输出结构。

构图建议（脚本结构框架）

• 导入区：集中导入所需库（如pandas, sqlalchemy, logging）。
• 配置区：定义数据库连接字符串、文件路径、关键参数等变量。
• 函数定义区：按功能拆分为独立函数（如：extract_data, clean_data, calculate_kpi）。
• 主执行流：以清晰的主函数或顺序结构串联各步骤，并包含错误处理（try-except）。
• 输出区：明确最终数据的输出形式（如保存为CSV、插入数据库表、返回DataFrame）。

细节强化

• 性能细节：提示使用向量化操作替代循环，对大数据集建议分块处理或提示索引优化。
• 健壮性细节：加入连接重试机制、空数据集处理、数据类型强制转换的容错逻辑。
• 可维护性细节：使用配置表或字典管理字段映射关系；关键常量单独定义。
• 可视化衔接：确保输出数据的字段名、格式符合下游BI工具（如Tableau, Power BI）的预期。

使用建议

• 将上述“核心提示词”直接输入AI代码生成工具，可快速获得基础脚本。
• 在提示中具体化技术栈（如“用PySpark编写”）、数据源类型（如“从MySQL的sales表”）和业务规则（如“销售额=单价*数量，剔除退款订单”），生成的脚本将更具针对性。
• 生成的脚本应视为“初稿”，务必在测试环境中进行数据验证和性能测试。
• 可组合不同提示词模块，例如将“核心提示词”中的清洗脚本与聚合脚本提示结合，形成完整管道。