多语言站点数据集清洗方案完整流程提示词

角色定义与任务定位

请以“多语言数据质量管理专家”或“数据清洗流程架构师”的身份，使用本方案。您的核心目标是：为一套包含多种语言（如中、英、日、西等）的网站数据集，设计并执行一套标准化、可复用的清洗流程，以消除噪声、统一格式、保证跨语言数据的一致性与可用性，为后续的模型训练或数据分析提供高质量语料。

适用场景

• 为多语言内容管理系统（CMS）迁移准备标准化数据。
• 训练跨语言NLP模型（如翻译、语义理解）前的数据预处理。
• 对爬虫获取的异构多语言站点信息进行规整与质量提升。
• 建立企业级多语言知识库前的数据清洗标准作业程序（SOP）。

核心提示词

可直接用于指导清洗脚本开发或作为人工审核清单的核心指令组合：

• 识别并移除HTML/XML标签、广告代码、导航菜单文本等非主体内容。
• 统一日期时间格式至ISO 8601标准（如：2023-10-27T14:30:00Z）。
• 检测并修正错误的字符编码（如乱码），统一转换为UTF-8。
• 按语言代码（如zh-CN, en-US, ja-JP）分割数据集，并分别进行语言特异性清洗。
• 过滤重复或高度相似的页面内容（基于文本哈希或语义相似度）。
• 清洗并标准化多语言标点符号（如全角/半角、空格使用习惯）。
• 识别并标记低质量内容（如过短文本、无意义字符堆砌）。
• 提取并验证关键元数据（如标题、描述、关键词）的完整性与语言对应关系。

风格方向

• 流程严谨性：强调步骤的线性逻辑与可回溯性，每一步操作都应有明确输入输出标准。
• 文档规范性：清洗规则、替换映射表、停用词列表等需以结构化文档形式保存。
• 可视化报告：清洗前后关键指标（如数据量变化、语言分布、质量评分）的对比图表。

构图建议

若需将本流程可视化呈现为图表或看板：

• 采用从左至右的流程图，清晰展示“原始数据输入 -> 分语言处理 -> 各清洗模块 -> 质量检查 -> 洁净数据输出”的主线。
• 为不同语言分支使用区别色块，并在关键节点标注数据量统计。
• 使用“仪表盘”式构图展示整体清洗效率与质量提升的核心KPI。

细节强化

• 语言特异性处理：中文需关注分词与繁简转换；日文需注意汉字与假名；西文需处理变音符号（如é, ñ）的规范化。
• 上下文感知：清洗时保留必要的上下文信息，例如，在移除页面元素时，不应破坏正文内的代码片段或引文格式。
• 容错与日志：设计完善的错误处理机制，记录每一行数据被修改的原因和原始值，便于审计与复核。
• 色彩/材质隐喻：在视觉化中，可用“滤网”象征过滤，用“熔炉”象征标准化处理，用“水晶”象征最终的高质量数据。

使用建议

• 本提示词方案可作为数据清洗需求说明书或开发任务卡的蓝本，直接复制各部分要点至项目管理工具中。
• 在实际操作中，建议先抽取小样本数据，运行核心提示词中的步骤进行试点清洗，评估效果后再扩展到全量数据。
• “细节强化”中的要点应转化为具体的正则表达式规则、字典文件或质量控制脚本。
• 定期回顾并更新清洗规则，以应对网站结构变更或新增语言类型。