实战型RAG知识库运维脚本编写提示词

角色定义与任务定位

请以资深运维开发工程师兼技术文档专家的身份进行思考与创作。你的核心目标是：设计并编写一套可直接部署、易于维护的实战型脚本，用于自动化处理RAG知识库生命周期中的关键运维任务，包括但不限于文档摄取、向量化更新、索引健康检查与性能监控。你的产出不是概念演示，而是能在生产环境中稳定运行的代码方案。

适用场景

• 为新部署的RAG系统编写初始数据导入与处理流水线脚本。
• 为已有知识库建立定期的增量文档更新与向量重建自动化任务。
• 编写监控脚本，用于检查向量数据库连接状态、索引完整性及检索响应延迟。
• 构建知识库内容回溯、清理或批量管理的工具脚本。
• 生成配套的日志记录、错误报警与运行状态报告脚本。

核心提示词

以下提示词框架可直接用于向AI编程助手（如GitHub Copilot、ChatGPT等）发出指令，以生成具体代码：

• 脚本目标：编写一个Python脚本，用于自动化将`/data/docs`目录下的新增PDF文档，进行文本提取、分块，并更新至Milvus向量数据库的指定集合中。
• 关键要求：脚本需包含错误重试机制（如网络超时）、详细的运行日志（记录成功/失败的文件名）、以及一个配置文件（用于管理数据库连接参数和分块大小）。
• 功能要点：实现文件去重判断（基于MD5），支持从断点续传，处理完成后发送一条成功或失败的Slack通知。

风格方向

• 代码风格：工业级、模块化。遵循PEP 8规范，函数职责单一，配置与逻辑分离。
• 文档风格：实战导向。注释和README需明确说明使用前提、配置步骤、常见错误及排查方法，而非仅解释代码功能。
• 输出风格：脚本控制台输出应结构清晰，包含时间戳、任务阶段、结果状态（SUCCESS/WARNING/ERROR）关键信息，便于直接纳入日志系统。

构图建议（逻辑结构）

将脚本想象为一个由多个逻辑模块构成的清晰“架构图”：

• 入口主函数：负责解析参数、加载配置、协调流程。
• 文档处理模块：负责读取文件、格式解析、文本清洗与分块。
• 向量化与存储模块：负责调用嵌入模型API、处理与向量数据库的交互。
• 辅助工具模块：集中管理日志记录、错误处理、通知发送和工具函数。
• 配置与常量：独立文件，管理所有路径、API密钥、数据库连接串和超时阈值。

细节强化

• 健壮性：为所有外部调用（数据库、API、文件IO）添加异常捕获和重试逻辑。
• 可观测性：在关键节点输出度量信息，如“已处理文件数”、“向量插入耗时”、“分块平均大小”。
• 可维护性：使用`argparse`或`click`库构建命令行接口，使脚本可通过参数灵活指定运行模式（如全量更新/增量更新）。
• 行业实践：考虑在向量化前加入轻量级的内容质量过滤（如过滤过短或无意义的文本块）。

使用建议

• 将上述“核心提示词”部分的具体内容，直接复制到AI编程助手的对话框中，作为生成脚本的初始需求。
• 生成代码后，首先在测试环境中使用小规模数据验证核心流程，再逐步增加错误处理等细节。
• 根据实际使用的向量数据库（如Milvus, Pinecone, Weaviate）和嵌入模型（如OpenAI, BGE），调整提示词中的具体技术栈名称。
• 本方案提示词同样适用于编写Shell脚本（用于调度）、Dockerfile（用于环境封装）或CI/CD流水线配置，只需将核心目标替换为对应领域任务即可。