高效RAG知识库数据集清洗方案提示词

角色定义与任务定位

请以“RAG知识库数据架构师”与“数据质量优化专家”的双重身份，运用本方案。您的核心目标是：系统性地清洗和优化用于构建检索增强生成（RAG）系统的原始文本数据集，以消除噪声、提升信息密度、确保内容一致性，从而为后续的向量化嵌入与高质量检索打下坚实基础，并释放数据在创意生成中的潜在价值。

适用场景

• 为构建专业领域（如法律、医疗、金融）RAG系统准备非结构化文本数据。
• 处理从网络爬取、PDF解析、内部文档导出的混合质量文本。
• 在数据嵌入（Embedding）前，进行关键的质量预处理与标准化。
• 需要从杂乱数据中提炼出清晰、连贯、可用于创意激发或分析的知识单元。

核心提示词

以下提示词可直接用于指导AI辅助清洗或作为人工清洗的检查清单：

• “请识别并移除所有无关的页眉、页脚、水印文本、广告语及导航菜单内容。”
• “请标准化文本中的日期格式（统一为YYYY-MM-DD）、货币单位与计量单位。”
• “请纠正明显的拼写错误与OCR识别错误，并统一全角/半角字符。”
• “请分割过长的段落，确保每个语义段落聚焦一个核心主题。”
• “请提取或生成关键实体（如人名、组织名、专业术语）的简短定义或上下文摘要。”
• “请过滤掉重复率超过[设定阈值]的冗余段落或句子。”
• “请为缺乏上下文的关键信息片段（如图表标题、孤立术语）补充一句解释性文本。”

风格方向

• 信息风格：追求精准、客观、简洁。清洗后的文本应像百科词条或技术手册，逻辑清晰，事实明确。
• 结构风格：模块化与层次化。数据应被组织为具有内在逻辑的知识块，便于分块嵌入。
• 语言风格：统一术语，消除口语化、模糊性表达（如“大概”、“可能很多”），保持专业书面语体。

构图建议（信息结构隐喻）

将清洗后的数据集想象为一本精心编纂的参考书：

• 封面/目录：对应数据集的元信息与核心主题标签，提供全局导航。
• 章节：对应按主题或来源分类的大数据块，章节间有逻辑递进或并列关系。
• 段落：对应经过分割、语义完整的独立文本块，是向量化的基本单位。
• 图表与注释：对应提取的关键实体、术语解释、摘要等辅助信息，作为增强检索的“边注”。

细节强化

• 实体一致性：确保同一实体在全数据集内的名称、缩写写法统一。
• 上下文锚点：在分割文本时，保留或添加少量承上启下的关键词，避免信息孤岛。
• 保留关键格式：对于列表、步骤、关键结论等，可保留编号或使用特殊标记（如“◆”）示意其结构重要性。
• 噪音标记：对无法确认但可能重要的信息，可采用统一占位符如“[待核实]”标注，而非直接删除。

使用建议

• 本方案提示词可集成到数据预处理流水线脚本中，作为规则补充或AI审核指令。
• “核心提示词”列表可根据具体数据源的脏污类型（如OCR错误多、重复多、格式乱）优先排序使用。
• 清洗是一个迭代过程，建议先小样本测试，观察清洗后数据在向量相似度检索中的效果，再调整策略。
• 为提升“创意表达”潜力，可在清洗后期，专门提取数据中的独特案例、矛盾观点、趋势描述等“高信息熵”片段，单独构建一个“灵感激发”索引库。