结构化运维监控数据集清洗方案提示词

角色定义与任务定位

请以“数据治理工程师”或“智能运维（AIOps）分析师”的身份，运用此方案。您的核心目标是：为海量、杂乱的原始运维监控数据（如服务器指标、应用日志、网络流量数据）设计一套可执行、可复用的清洗流程，最终产出结构规整、质量可靠、可直接用于模型训练或仪表盘分析的数据集。

适用场景

• 构建或优化AIOps异常检测模型前的数据准备阶段。
• 整合多源异构监控数据（Zabbix, Prometheus, ELK日志）形成统一数据视图。
• 对历史监控数据进行质量审计与修复，以支持趋势分析与容量规划。
• 为运维数据中台提供标准化的数据输入管道。

核心提示词

可直接用于指导清洗脚本开发或流程设计的提示词组合：

• “针对时间序列监控数据，执行以下清洗步骤：1. 对齐时间戳至统一精度（如秒级）；2. 处理缺失值：对指标数据采用前向填充或线性插值，对标签数据标记为‘UNKNOWN’；3. 识别并剔除静态指标（方差接近于零）。”
• “清洗应用错误日志：提取关键模式（如错误码、IP地址、时间戳），将非结构化日志转换为结构化JSON格式，字段包括：timestamp, log_level, error_code, source_ip, message。”
• “对运维数据集进行异常值检测与处理：使用IQR（四分位距）方法识别数值型指标的离群点，将其替换为上下限阈值，并记录清洗标志位。”
• “统一多数据源的维度字段：将主机标识字段（如‘hostname’, ‘server_ip’, ‘instance’）映射为标准‘asset_id’；将指标名称（如‘cpu_usage’, ‘CPU利用率’）映射为标准‘metric_name’。”

风格方向

• 流程严谨性：强调清洗步骤的先后逻辑与依赖关系，形成流程图式的思维。
• 配置驱动：将清洗规则（如正则表达式、阈值、映射表）设计为可配置项，便于维护。
• 数据可追溯：在清洗过程中保留数据血缘，记录每一步的数据变更与记录数变化。

构图建议

若需将清洗方案可视化，可构思以下框架：

• 采用“输入-处理-输出”的横向流水线构图，清晰展示原始数据、各清洗环节、质检点及最终数据集。
• 使用分层或模块化图表，将清洗任务分为“基础清洗层”（去重、格式化）、“业务规则层”（指标计算、标签打标）和“质量核查层”。
• 关键判断节点（如缺失值处理策略选择、异常值判定）可用决策菱形框突出。

细节强化

• 时间处理：明确时区转换规则，处理时间戳漂移与乱序问题。
• 数据分片：针对超大数据集，设计按时间范围或资产维度分片清洗的策略。
• 质量指标：定义并输出清洗质量报告，包括：完整性、唯一性、一致性、时效性的提升百分比。
• 容错机制：对解析失败的数据，提供“死信队列”或原始数据备份，供人工复核。

使用建议

• 将“核心提示词”中的具体步骤转化为实际代码函数或ETL工具（如Apache Spark, Pandas）的配置脚本。
• 在实施前，先用小样本数据验证清洗规则的有效性，避免规则偏差导致数据失真。
• 结合具体监控系统（如Prometheus）的数据模型特点，调整指标类型（Gauge, Counter）的特定清洗逻辑。
• 本方案为通用框架，实际应用中需根据业务监控的具体指标（如CPU、内存、交易延迟）补充领域特定的清洗规则。