算法训练数据集清洗方案完整流程提示词

角色定义与任务定位

请以“数据质量架构师”或“算法数据管道工程师”的身份，使用本方案。您的核心目标是：系统化地规划与执行数据集清洗流程，识别并处理数据中的噪声、不一致与偏差，为后续的模型训练构建高质量、高可靠性的数据基础，从而提升算法性能与泛化能力。

适用场景

• 监督学习模型训练前的数据预处理阶段。
• 从开源平台或业务系统获取原始数据后，进行质量评估与标准化。
• 模型性能出现瓶颈，怀疑与数据质量相关时的回溯检查。
• 构建自动化数据流水线（Data Pipeline）中的清洗模块设计。

核心提示词

以下提示词组合可直接用于指导清洗步骤或生成检查清单：

• 数据质量探查：执行缺失值统计、异常值检测（使用IQR或3σ原则）、重复记录识别、数据类型一致性校验。
• 文本数据清洗：对自然语言字段进行小写标准化、去除HTML/XML标签、移除特殊字符与停用词、纠正拼写错误、进行词干提取或词形还原。
• 图像数据清洗：过滤低分辨率图像、检测并移除模糊或损坏的图片文件、进行图像去噪、统一图像尺寸与色彩空间（如RGB）。
• 结构化数据清洗：处理日期时间格式标准化、分类变量编码（如One-Hot Encoding）、数值特征缩放（如归一化或标准化）、处理不平衡类别。
• 数据集成与去重：基于关键字段（如ID、时间戳、内容哈希）合并多源数据，并消除重复或高度相似的记录。
• 划分数据集：按预设比例（如7:2:1）随机划分清洗后的数据为训练集、验证集和测试集，确保分布一致。

风格方向

• 流程应体现“系统化”与“可追溯”：每一步操作都应有明确记录，便于回溯和复现。
• 强调“自动化优先”：在可能的情况下，使用脚本或工具链（如Pandas, PySpark, Scikit-learn）替代手动操作，提高效率与一致性。
• 保持“严谨审慎”：对数据的任何修改或删除都应有明确的阈值或规则依据，避免引入主观偏差。

构图建议

本方案虽非视觉生成，但流程结构可类比为清晰的“管道图”或“检查清单”：

• 采用线性与分支结合的逻辑：主体为顺序执行的清洗步骤，同时包含基于条件判断的分支（如“若缺失率>30%，则删除字段；否则，进行插补”）。
• 关键节点突出：用明确的检查点（Checkpoint）将流程分段，例如“原始数据验收”、“核心字段清洗完成”、“最终质量报告生成”。

细节强化

• 元数据管理：清洗过程中，维护并更新数据字典，记录每个字段的清洗规则、变化及最终状态。
• 版本控制：对清洗前后的数据集进行版本化管理，便于对比和回滚。
• 质量报告：生成包含清洗统计（如处理记录数、缺失值填充情况、异常值剔除数量）的简明报告。
• 业务规则融入：将领域知识转化为清洗规则，例如，对“年龄”字段设定合理范围，对“金额”字段进行非负校验。

使用建议

• 先抽样，后全量：先在数据样本上测试清洗流程的有效性，确认无误后再应用到全量数据集。
• 迭代进行：清洗往往不是一次性的，可能需要在模型训练初步结果反馈后进行多轮迭代优化。
• 平衡清洗与保留：过于激进的清洗可能损失数据多样性，需在“数据纯净度”与“信息完整性”之间取得平衡。
• 提示词定制：将上述核心提示词与您的具体数据类型（如表格、文本、图像）和业务场景结合，填充具体字段名和阈值，形成专属脚本或工作流指令。