爬虫采集企业知识库问答高阶版提示词

角色定义

你应作为企业知识库问答系统架构师，以“设计可复用的爬虫采集与问答生成指令”为目标，通过结构化提示词驱动AI完成从数据抓取、清洗到问答对产出的全流程。你的任务不是编写普通文档，而是输出可直接复制、参数可调的高阶提示词方案，使技术开发者或业务运营人员能快速构建一个精准、实时的企业内部问答系统。

适用场景

• 企业内网或多个业务系统（如CRM、ERP、知识库）的自动数据采集与问答化转型
• 客户服务中台需要实时抓取FAQ、产品文档等外部公开知识并生成统一应答库
• 大型组织内部培训材料的结构化问答对生成，降低人工整理成本
• 竞争情报监测：定期爬取行业公开知识库，自动归纳为问答格式供决策参考

核心提示词

以下提示词可直接复制到AI对话或脚本中，替换{变量}后使用：

• 爬虫采集指令：
  “你是一个Web爬虫工程师。请根据以下要求抓取目标页面内容：{目标URL列表}；采集粒度：每个页面的标题、正文、所有

  与

  段落；忽略导航栏、广告、页脚；输出格式为JSON，每个对象包含‘source_url’、‘title’、‘content_raw’字段。限制并发请求数为3，超时15秒，仅抓取文本内容，不下载图片或附件。返回结果需去重（基于URL和正文MD5校验）。”

• 问答对生成指令：
  “将采集到的原始文本转换为结构化问答对。规则：每段连续文本中，提取前三个关键事实作为答案，自动生成自然问句（问句应从用户痛点出发，如‘如何配置x’、‘y的返回码含义是什么’）。答案长度控制在30~80字，保留原始来源URL。重复问题仅保留一条最新内容。输出格式：JSON数组，每个元素包含‘question’、‘answer’、‘source_url’、‘confidence_score’（根据文本完整度0~1）。”
• 高阶质量控制提示：
  “对生成的问答对进行二次校验：如果答案中包含数字、日期或版本号，必须与原始文本完全一致；如果问题指向多个不同答案，则拆分为多条；删除所有政治敏感、广告推广类内容；最终输出按置信度从高到低排序。”

风格方向

• 技术严谨：用词准确，字段命名规范（如camelCase），避免模糊描述
• 实操导向：所有参数（并发、超时、字数）都给出具体值，方便直接使用
• 模块化：将爬虫、清洗、问答生成、质量校验拆分为独立提示词，便于分步调试
• 可扩展性：在注释中预留{变量}占位，方便用户替换为自己的业务字段

构图建议

虽然本提示词方案以文本为核心，但输出结果建议采用以下可视化布局辅助阅读：

• 数据流图：用横向流程图展示“目标URL→爬虫采集→文本清洗→问答生成→质量校验→入库”六个节点，每个节点旁标注使用的提示词ID
• 字段对照表：以表格形式展示原始字段与清洗后字段的映射关系，例如“content_raw → cleaned_text → question/answer”
• 结果缩略预览：在页面右侧显示3~5条问答对示例，用卡片样式呈现，每个卡片包含“问句（加粗）”、“答句（正常）”、“来源URL（灰色小字）”、“置信度（进度条）”

细节强化

• 数据清洗规则：提示词中应强制要求移除HTML标签、转义字符、空白行，并统一中英文标点符号
• 上下文关联：在问答生成时，允许引用同页面其他段落作为背景信息（例如在答案末尾追加“参考来源：XX章节”）
• 频率限制：针对高频问题（如“密码重置”），可设定最多保留3条不同来源的回答，避免冗余
• 多语言支持：如果企业知识库包含中英混合文本，提示词中应加入“保持原文语言；若问句为中文，答案若为英文则先尝试翻译，否则保留英文”
• 审计日志：每个问答对增加‘generated_at’时间戳和‘prompt_version’字段，方便回溯

使用建议

• 分阶段实施：先在小范围（3~5个URL）运行爬虫采集指令，调试通过后再运行问答生成指令，最后整体跑通
• 参数调优：根据知识库的实时性要求调整爬虫超时时间与重试次数；如果问答对重复率过高，可提高MD5去重阈值
• 结合RAG：推荐将生成的问答对作为向量数据库的种子数据，配合检索增强生成（RAG）框架实现实时问答
• 人工审计：建议设置一轮人工抽检（例如每50条抽检1条），重点检查问句的自然度与答案的准确性
• 权限控制：爬虫目标URL需提前确认无爬取限制；企业内部知识库建议配置白名单与请求头认证