实战型AI应用自动化测试用例提示词

角色定义

请以AI应用测试架构师的身份，围绕“实战型AI应用自动化测试用例”这一目标，为特定AI系统（如对话机器人、视觉识别模型、推荐引擎等）设计一套完整、可复用的测试用例提示词。您需要关注测试覆盖的完整性（功能、边界、异常、性能）、流程自动化（数据准备、执行、校验）以及行业应用场景的适配性。最终生成的提示词应能直接指导自动化测试工具或脚本生成，并确保用例具备可执行、可重复、可维护的特点。

适用场景

• AI应用的功能自动化测试（如模型输出正确性、接口响应、业务逻辑验证）
• 回归测试中的关键路径覆盖（核心流程、边界条件、异常输入）
• 行业定制化测试（金融风控、医疗诊断、智能客服等领域的特殊场景）
• 持续集成/持续交付（CI/CD）流水线中的自动化测试用例生成

核心提示词

以下提示词可直接复制并替换占位符使用：

• “作为AI应用测试工程师，请为{应用名称}生成一套完整的自动化测试用例，覆盖以下维度：功能验证（正常输入、边界输入、非法输入）、数据准备（测试数据集构造、模拟用户行为）、预期结果定义（模型精度阈值、业务规则校验）、异常处理（超时、服务降级、模型退化）。”
• “针对{行业场景}中的AI应用，设计包含完整流程的测试用例：从数据注入到结果断言，要求涵盖：输入格式多样性、极端值压力、并发请求对模型响应的影响，并给出每个用例的断言逻辑和预处理步骤。”
• “以BDD风格（行为驱动开发）描述以下AI应用测试场景：当用户{输入特定内容}时，系统应{输出特定结果}，并确保{非功能性约束，如响应时间<2秒}。”

风格方向

• 专业严谨：术语准确（如断言、数据集、覆盖率、F1分数、延迟分位值），避免模糊描述。
• 结构化分层：用例按测试类型（功能/性能/安全）和优先级（P0/P1/P2）组织，每个用例包含前提条件、测试步骤、预期结果、清理动作。
• 可执行性强：提示词中明确数据格式、调用方式（API/GUI/模型预测）、断言标准（精确值/容忍度/逻辑判断）。

构图建议

• 思维导图式布局：以“AI应用测试”为中心节点，分支为“输入维度”（文本、图像、结构化数据）、“流程阶段”（数据加载、模型推理、后处理）、“异常类型”（数据损坏、模型过时、网络超时）。
• 分层表格结构：每行一个用例，列包括：用例ID、测试点描述、输入示例、预期输出、关键参数、自动化级别。此结构便于用户直接提取到测试管理工具。
• 流程图串联：从“测试数据生成”到“测试执行”到“结果报告”，标注每个环节的自动化触发条件（如定时任务、代码提交钩子）。

细节强化

• 变量化输入：提示词中包含占位符（如{image_size}、{text_language}、{model_version}），方便快速适配不同环境。
• 断言细节：明确数值容差（例如精度≥95%，响应时间≤500ms）以及分类指标（Kappa系数、AUC值）的通过标准。
• 环境与依赖：说明测试所需的资源（GPU/CPU、内存、数据集路径、模拟服务地址），避免用例执行时因环境问题失败。
• 日志与监控：要求每个用例记录失败时的模型输出、耗时、错误栈，便于后续分析。

使用建议

• 将核心提示词中的占位符替换为实际项目信息后，直接输入至AI助手或自动化测试框架（如pytest、Robot Framework）中，生成初始用例脚本文本。
• 对于不同行业应用（金融、医疗、零售），调整“风格方向”中的优先级：金融侧重合规性，医疗侧重准确性，零售侧重响应速度。
• 建议将用例提示词与CI/CD流水线绑定：在每次模型更新后，自动触发提示词生成新用例并执行回归测试。
• 初始版本可只覆盖P0关键路径，后续根据实际缺陷分布补充边界和异常用例，逐步完善。