高阶版开源模型数据集清洗方案提示词

角色定义与任务定位

请以“AI数据质量架构师”的身份，运用本方案。你的核心目标是：系统化地构建一套提示词，用以指导大语言模型（如Claude、GPT-4）或辅助脚本，对开源模型训练数据集进行深度清洗与结构化处理，从而提升数据集的纯净度、一致性与可用性，为模型训练打下坚实基础。

适用场景

• 为Stable Diffusion、LLaMA等开源模型准备高质量的图文对齐训练数据。
• 清洗从网络爬取或公开平台下载的原始数据集，去除噪声、重复项及低质量样本。
• 对已有数据集进行标准化重构，统一标注格式、解析元数据、修正错误标签。
• 在构建领域特定模型（如医学影像、法律文本）前，进行专业数据的筛选与增强。

核心提示词（可直接使用）

• 基础清洗指令：“请分析以下文本/图像描述数据集。首先，识别并移除完全重复的条目。其次，过滤掉描述长度低于10个单词或超过200个单词的条目。最后，标记所有包含明显语法错误、无意义字符（如‘asdfg’）或仅为URL链接的条目，并提供删除建议。”
• 内容质量过滤：“针对给定的图像-文本对，请评估其相关性。如果文本描述与图像核心内容严重不符（例如，描述‘一只猫’但图片是‘一辆车’），或描述过于模糊（如‘一张图片’、‘照片’），请将其归类为‘低质量配对’，并输出一个修正后的、更精确的描述示例。”
• 标签标准化与扩展：“你是一名专业的数据标注员。请为以下图像描述生成结构化标签。要求：1. 提取核心主体（名词）。2. 添加至少三个属性标签（如颜色、材质、风格）。3. 补充一个场景或氛围标签。格式为：[核心主体] | 属性:标签1, 标签2, 标签3 | 场景: 标签。例如，‘一个穿着红色毛衣的女孩在咖啡馆看书’ 可处理为 ‘女孩 | 属性:红色毛衣, 阅读, 室内光 | 场景: 温馨咖啡馆’。”
• 元数据解析与补全：“请解析以下数据条目中的非结构化文本，提取并格式化关键元数据至JSON格式。需要提取的字段包括：source_website（来源网站）、license（许可证类型，若未明确则标注‘未知’）、resolution（图像分辨率，从文本中推断或标注‘未提及’）、upload_date（上传日期）。请确保输出为标准JSON数组。”

风格方向

• 指令风格：提示词应体现严谨的工程思维，使用清晰、无歧义的祈使句和条件判断语句（如“如果…则…”）。
• 结构化输出：明确要求模型以列表、表格、JSON或特定分隔符格式输出结果，便于后续程序化处理。
• 可迭代性：设计可分步骤执行的提示词链，例如先“识别问题”，再“提出修正方案”，最后“执行清洗并总结”。

构图建议（思维框架）

• 将数据集清洗视为一个多阶段的流水线：输入原始数据 -> 通过提示词A（去重过滤）-> 中间结果 -> 通过提示词B（质量评估）-> 中间结果 -> 通过提示词C（标签标准化）-> 输出结构化干净数据。
• 为每个关键清洗环节设计独立的、功能单一的提示词模块，避免一个提示词承担过多复杂任务导致效果下降。
• 在提示词中构建“检查-反馈”循环，例如要求模型在删除数据前，先列出将被删除的条目及原因，供人工复核。

细节强化

• 定义明确阈值：在过滤条件中量化标准，如“描述相似度超过95%视为重复”、“图像宽高比异常（大于4:1或小于1:4）的条目需标记”。
• 引入负面提示：明确指示模型应避免的行为，如“不要对图像内容进行主观艺术评价，仅进行客观符合性判断”、“不要修改原始数据中的专有名词和术语”。
• 上下文示例：在复杂操作提示词中，提供1-2个输入输出的清晰示例（Few-Shot Learning），显著提升模型遵循指令的准确性。
• 格式强制：使用“输出必须严格遵守以下模板：”等强调性语句，并给出具体模板示例，控制输出格式。

使用建议

• 本方案中的提示词可作为模板，根据您的具体数据集类型（文本、图文对、音频文本）替换其中的实体和阈值。
• 建议先在小批量数据样本（如100条）上测试和调整提示词，观察模型的执行效果与偏差，优化后再扩展到全量数据。
• 将成功的提示词与清洗流程脚本（如Python脚本）结合，实现半自动化或全自动化的数据清洗流水线。
• 定期更新和迭代您的清洗提示词库，以应对新型数据噪声和更精细的质量要求。