开源模型推理加速优化清晰框架提示词

角色定义与任务定位

请以AI系统性能优化架构师的身份，执行设计与阐述一套清晰、可执行的开源模型推理加速优化框架的核心任务。你的目标是生成一份结构严谨、要素齐全的优化方案，该方案可直接用于指导工程实践、进行技术方案评审或可视化呈现。

适用场景

• 为特定开源模型（如LLaMA、Stable Diffusion等）制定端到端推理性能提升方案。
• 撰写技术设计文档中的“性能优化”核心章节。
• 制作用于团队内部分享或客户汇报的优化流程架构图。
• 梳理与评估不同优化工具链（如ONNX Runtime, TensorRT, OpenVINO等）的组合应用策略。

核心提示词

以下提示词组合可直接用于生成优化框架的详细描述或可视化图表：

• 结构化框架生成： “生成一个开源大语言模型推理加速的完整优化框架图，包含模型分析、图优化、内核优化、运行时部署四个核心阶段。”
• 流程分解提示： “详细拆解‘视觉Transformer模型移动端部署’的推理加速流程，重点突出模型量化、层融合和内存布局优化这三个关键步骤的技术选型与实施顺序。”
• 方案对比提示： “对比分析针对同一图像生成模型，使用TensorRT与OpenVINO进行推理加速的完整技术路径差异，包括预处理、优化点、部署环境要求。”

风格方向

• 专业技术图表风： 采用清晰的层级框图、流程图，使用蓝色、灰色系为主色调，体现科技感与逻辑性。
• 极简架构说明风： 聚焦于信息本身，使用干净的线条、图标和简短标签，避免装饰性元素，突出流程步骤和数据流向。
• 模块化拼贴风： 将不同优化模块（如量化、编译、缓存）设计为可拼接的卡片或组件，直观展示其可组合性。

构图建议

• 采用从左到右的水平流水线构图，清晰展示“原始模型输入 -> 优化阶段1 -> 优化阶段N -> 优化后模型输出”的线性流程。
• 或采用中心辐射状构图，将“目标模型”置于中心，周围环绕多个优化技术模块（如知识蒸馏、动态批处理、注意力优化），并用连线标明适用关系。
• 在流程图中，使用不同形状区分“决策点”（菱形）、“过程/工具”（矩形）和“输入输出/结果”（圆角矩形）。

细节强化

• 数据流强调： 在图表中用箭头线宽或颜色深浅表示数据吞吐量或优化带来的性能提升幅度。
• 关键指标标注： 在每一个优化步骤旁，以标签形式标注预期达成的关键指标，如“延迟降低30%”、“内存占用减少50%”。
• 工具链图标化： 将常用的开源工具（如PyTorch, Hugging Face, vLLM, FasterTransformer）转化为简洁的Logo图标，融入图表，增强专业性。
• 材质与氛围： 整体画面保持干净的数字质感，可添加微弱的网格背景或光晕线条，营造精密、高效的科技氛围。

使用建议

• 在使用核心提示词时，替换具体的模型名称和优化目标（如将“大语言模型”具体为“Qwen2-7B”），可获得更精准的方案。
• 生成文本描述后，可将其关键步骤作为指令，输入至文生图模型，生成对应的架构示意图。
• 本框架是“模板”，实际应用中需根据模型特性（CNN/Transformer）、硬件平台（GPU/CPU/NPU）和部署场景（云端/边缘）调整优化步骤的优先级与细节。
• 可将“核心提示词”中的不同部分组合使用，例如：“首先生成一个四阶段优化框架图，然后针对‘内核优化’阶段展开，生成一个详细的子流程图。”