RAG知识库模型选型对比实战版提示词

角色定义与任务定位

请以“企业级AI应用架构师”或“技术选型负责人”的身份，使用本提示词方案。你的核心目标是：为构建或优化一个生产级别的RAG（检索增强生成）知识库系统，生成一份专业、全面、可落地的模型对比分析报告，以支撑关键的技术选型决策。

适用场景

• 为新项目选择最合适的嵌入模型（Embedding Model）与大型语言模型（LLM）。
• 对现有RAG知识库进行性能评估与模型升级迭代。
• 向技术团队或项目干系人展示不同模型组合的优劣对比。
• 制定结合了成本、性能、精度与业务需求的模型选型标准。

核心提示词（可直接使用）

请基于以下结构化提示词框架，填充具体模型名称（如：text-embedding-ada-002, bge-large-zh, Llama 3, GPT-4, 通义千问等）进行生成：

• 对比分析请求：请从“检索精度”、“生成质量”、“响应速度”、“成本效益”和“部署复杂度”五个核心维度，对比分析嵌入模型 [A] 与 [B]，以及大语言模型 [C] 与 [D] 在金融/医疗/法律（请指定）领域知识库场景下的表现。
• 评估框架生成：为我设计一个用于RAG模型选型的对比评估表格，需包含评估维度（如：中文语义相似度得分、幻觉抑制能力、长上下文处理、Token经济性）、测试数据集描述、量化指标与主观评价标准。
• 场景化建议：针对一个高实时性要求、且对事实准确性极为敏感的客服知识库场景，推荐一套具体的“嵌入模型+LLM+重排序器”组合方案，并详细阐述该组合在吞吐量、准确率及错误容忍度上的权衡。

风格方向

• 报告风格：技术评估报告、竞品分析简报。语言严谨、客观，数据驱动。
• 视觉隐喻：可采用“技术雷达图”、“性能对比柱状图”、“决策矩阵象限图”等可视化框架来描述不同维度的对比。
• 表达基调：务实、前瞻、略带批判性。避免纯理论阐述，聚焦于实战中的性能表现、边界案例和运维成本。

构图建议（内容组织框架）

• 第一板块：定义评估基准：清晰界定本次选型要解决的核心业务问题、成功指标（如：平均检索相关度>0.85，回答事实错误率<2%）。
• 第二板块：分维度深度对比：将嵌入模型与LLM分开对比，再分析组合效果。每个维度下应有数据（或模拟数据）支撑、典型用例和潜在风险。
• 第三板块：场景适配与推荐：根据“高精度优先”、“成本敏感”、“快速迭代”等不同场景，给出2-3套梯度化推荐方案。
• 第四板块：实施路线图：简要概述POC验证的关键步骤、需要监控的指标以及回滚方案。

细节强化

• 关键指标具体化：提及“MTEB中文榜单排名”、“RAGAS评估框架中的忠实度得分”、“每秒处理查询数（QPS）”、“单次查询综合成本”等具体指标。
• 典型挑战应对：阐述各模型组合对“专有名词缩写”、“长文档跨段落信息整合”、“复杂多轮问答”等实际挑战的处理能力。
• 非功能性细节：考虑模型许可协议、国产化要求、社区生态活跃度、API稳定性与供应商锁定风险等工程化因素。

使用建议

• 将“核心提示词”中的括号占位符替换为您正在评估的真实模型名称，直接输入至AI对话界面，即可生成初步分析。
• 本方案提供的结构和维度是骨架，请务必结合您自身的业务数据（可脱敏）进行小规模验证测试，以获得最可靠的结论。
• 在生成内容基础上，重点提炼出“决策建议摘要”，用于快速向上汇报或团队对齐，突出最具差异化的选择依据。
• 可迭代使用：先进行宏观模型对比，再针对优选出的1-2个组合进行深入的“压力测试”提示词生成。