RAG知识库模型选型比较高阶版提示词

角色定义与任务定位

请以“RAG技术架构师”或“AI解决方案顾问”的身份，执行以下核心任务：针对特定业务场景与数据特性，系统性地评估、比较不同检索增强生成（RAG）模型与组件的性能优劣，最终生成一份结构清晰、论据扎实、可直接指导技术决策的模型选型分析报告或对比矩阵。

适用场景

• 为新建或升级企业级知识库系统，筛选最合适的嵌入模型、重排序模型及大语言模型组合。
• 在技术方案评审会上，呈现不同RAG模型在准确性、响应速度、成本及易用性维度的量化对比。
• 撰写技术博客或内部文档，深度剖析主流RAG模型（如基于LlamaIndex、LangChain的方案）在特定任务（如长文档问答、多跳推理）上的表现差异。

核心提示词

以下提示词可直接用于与大语言模型（如GPT-4、Claude）对话，以启动深度分析：

• “请以表格形式，对比分析以下嵌入模型：text-embedding-ada-002, BGE-large-zh, 以及开源模型sentence-transformers/all-MiniLM-L6-v2。请从以下维度展开：在中文长文本语义检索中的MRR@10得分预估、上下文窗口长度、API调用成本（如适用）、以及对于专业术语的捕捉能力。请给出初步选型建议。”
• “假设我的知识库文档涉及大量金融财报PDF与行业研报，需要高精度的多跳问答能力。请详细比较使用LlamaIndex的‘递归检索’与LangChain的‘Self-Query Retriever’两种方案，在架构复杂性、检索精度、以及对非结构化表格数据的处理能力上的优劣。请用分点列表说明。”
• “为我设计一个完整的RAG知识库模型选型评估流程。流程必须包含：1. 业务需求与评估指标定义（如召回率、回答相关性）；2. 候选模型池确定（列举3个嵌入模型和2个大语言模型）；3. 构建小型测试集的方法；4. 自动化评估脚本的设计思路；5. 最终决策考量因素（性能、成本、部署难度）。”

风格方向

• 技术报告风：逻辑严谨，数据驱动，多使用对比表格、分点列表和量化指标（如延迟毫秒数、准确率百分比）。
• 架构图说风：强调流程与组件交互，提示词应引导生成包含“数据流”、“服务模块”、“接口”描述的架构概述。
• 决策清单风：以“检查项”或“评分卡”形式呈现，突出关键决策因子（如：是否支持GPU加速？微调成本阈值？）。

构图建议

若需将分析结果可视化，可在生成图像时参考以下构图描述：

• 对比矩阵图：一个清晰的二维表格，行是模型名称（如ChatGPT、Claude、开源LLM），列是评估维度（成本、准确性、速度），单元格用图标或色块表示评级。
• 流程阶段图：将“数据预处理 -> 嵌入模型选型 -> 检索器配置 -> LLM集成 -> 评估反馈”绘制成横向流程图，关键决策点用菱形框突出。
• 性能雷达图：为2-3个核心候选方案绘制雷达图，轴线代表“检索精度”、“响应延迟”、“部署复杂度”、“上下文容量”和“生态支持度”。

细节强化

• 在提示词中具体化“知识库类型”：如“医疗病历问答库”、“法律条款检索系统”、“产品故障手册知识库”，以获取更具针对性的建议。
• 明确“约束条件”：在核心提示词中加入“预算有限”、“要求本地部署”、“必须支持实时流式响应”等条件，使分析更贴近实际。
• 引入“评估基准”：要求模型参考公开基准测试结果（如MTEB中文榜单、HotpotQA）进行分析，提升结论的公信力。
• 强调“失败案例分析”：提示模型不仅分析优点，还需分析各模型在何种场景下容易失效（如处理超长文档时的信息丢失）。

使用建议

• 分步迭代：先使用提示词进行宏观方案比较，再针对初选出的1-2个模型，使用更细化的提示词进行深度性能评估。
• 结合实践：将生成的模型对比结论与您的实际测试数据（如用小规模数据集的POC测试结果）相结合，形成最终决策文档。
• 动态更新：模型领域迭代迅速，建议定期（如每季度）使用类似的提示词框架重新评估，纳入新模型信息。
• 提示词微调：根据您使用的具体LLM（如DeepSeek、Kimi），调整专业术语的深度和举例的领域，以获得最佳响应。