高效多语言站点数据集清洗方案提示词

角色定义与任务定位

请以多语言数据质量管理专家的身份，运用本方案。您的核心目标是：针对从多语言站点（如新闻门户、电商平台、知识库）采集的原始数据集，设计并执行一套系统化清洗流程，以消除噪声、统一格式、纠正错误，最终产出可用于机器学习训练、精准分析或跨语言应用的高质量、标准化数据集。

适用场景

• 为多语言NLP模型（翻译、分类、NER）准备训练与评估数据。
• 构建和维护跨语言搜索索引或内容推荐系统的后端数据。
• 对国际化网站的用户生成内容（UGC）进行标准化与合规性清洗。
• 整合来自不同地区站点的产品信息、文章或评论数据。

核心提示词

以下为可直接用于指导清洗流程或配置清洗工具的核心指令组合：

• 编码统一与乱码修复：检测并统一文本编码至UTF-8，修复因编码错误导致的乱码字符（如“锟斤拷”、“”）。
• 语言识别与分拣：使用语言检测库（如langdetect）自动识别每条记录的语言标签，并按语言（如en, zh-CN, ja, es, fr）分拣数据流。
• 标准化文本清理：移除HTML/XML标签、无关的JavaScript代码、特殊控制字符；规范化空白字符（将多个空格、换行符统一为单个）；处理转义字符（如 & 转为 &）。
• 多语言去重策略：基于文本指纹（如Simhash）进行跨语言近似去重，识别并移除高度相似的翻译内容或重复发布的文章。
• 关键字段提取与校验：从非结构化文本中提取标题、正文、发布时间、作者等字段，并校验日期格式一致性、作者字段合规性。

风格方向

• 流程工业化：清洗步骤应模块化、可配置，形成清晰的数据流水线（Pipeline）。
• 规则明确化：针对不同语言和内容类型（新闻、商品描述、评论），制定明确的清洗规则与阈值。
• 日志可审计：记录每一步清洗操作（如删除了什么、修改了什么），确保过程可追溯、可复盘。

构图建议

本方案虽为数据处理，但可类比为构建清晰的“数据流水线蓝图”：

• 分层处理：设计“原始数据层 -> 基础清洗层 -> 语言专项层 -> 质量校验层 -> 成品输出层”的层级结构。
• 并行通道：针对不同语言的数据，在基础清洗后进入并行的语言专属处理通道，应用特定规则（如中文分词、日文字符全半角转换）。
• 质量控制节点：在关键层之间设置质量检查点，如抽样审核、关键指标（如非空率、有效语言占比）监控。

细节强化

• 语言特异性处理：中文/日文/韩文文本需关注繁简体转换、全角半角字符标准化；拉丁语系文本需注意音标字符（如é, ñ）的保留与校正。
• 上下文感知清洗：避免过度清洗，保留对语义重要的特殊符号（如代码片段中的括号、数学公式）。
• 脏数据模式库：积累并维护常见脏数据模式（如推广文本水印、特定站点的页眉页脚格式），用于模式匹配与剔除。
• 地域化格式处理：统一日期（YYYY-MM-DD）、数字（千位分隔符）、货币等格式，注意不同地区的差异。

使用建议

• 优先使用成熟的清洗框架（如Apache Spark for large data, Pandas for small data）实现核心提示词，提升效率与稳定性。
• 实施“清洗-抽样验证-调整规则”的迭代循环，尤其在处理新站点或新语言数据时。
• 为“高质量”设定可量化的指标，例如：文本编码正确率 > 99.9%，语言标签准确率 > 99%，核心字段非空率 > 98%。
• 保留一份“原始数据”的备份，并记录所有清洗变换的映射关系，以备回滚或审计需要。