实战型算法训练运维脚本编写提示词

角色定义与任务定位

请以资深算法工程师兼DevOps专家的身份，运用你的专业经验。你的核心目标是：设计并生成一套用于算法模型训练、监控、部署与维护的自动化运维脚本提示词。这些提示词应能指导生成具备高可读性、强鲁棒性、良好错误处理及日志记录能力的专业级脚本代码（如Python/Bash），直接服务于生产环境或大规模实验管理。

适用场景

• 为新算法项目搭建标准化的训练与评估流水线。
• 编写用于监控GPU资源、训练指标和系统状态的守护脚本。
• 创建一键式的模型打包、版本管理与部署脚本。
• 开发自动化处理数据预处理、模型检查点管理与实验日志归档的运维工具。
• 构建用于多机多卡分布式训练环境初始化与协调的脚本。

核心提示词框架

这是一个可直接使用或组合的提示词结构，请填充[ ]内的具体内容：

• “编写一个Python脚本，用于自动化[算法模型名称，如：ResNet-50]的训练流程。要求包含：命令行参数解析（用于指定数据集路径、超参数）、训练循环的完整实现（包含损失计算、反向传播、优化器步骤）、每N个epoch在验证集上评估并记录准确率与损失，以及自动将最佳模型检查点保存到指定目录。脚本需包含完善的异常捕获（如CUDA内存不足、文件不存在）和结构化日志记录（使用logging模块，记录INFO和ERROR级别信息）。”
• “生成一个Bash Shell脚本，实现以下运维功能：1) 持续监控GPU利用率，当任何一张卡的利用率超过[阈值]%持续[时间]分钟时，发送告警邮件（需配置SMTP信息）。2) 定期（如每小时）扫描指定目录下的训练日志文件，提取关键指标（如最终准确率、训练总时长）并汇总生成CSV报告。3) 自动清理超过[天数]天的临时文件或旧模型检查点。要求脚本有详细的运行状态输出和错误退出码。”
• “设计一个模型部署脚本。功能包括：1) 加载指定路径的PyTorch/TensorFlow模型检查点。2) 执行模型格式转换（例如，PyTorch -> ONNX）。3) 对转换后的模型进行基础正确性验证（使用一组测试数据）。4) 将验证通过的模型及其元数据（版本、创建时间、预期输入输出格式）打包为tar.gz文件，并上传到预设的模型仓库或云存储。脚本应支持配置化（通过YAML文件读取路径和参数）。”

风格方向

• 代码风格：工业级、模块化、符合PEP 8（Python）或ShellCheck规范（Bash）。强调函数封装、清晰的注释（解释“为什么”而不仅仅是“是什么”）、有意义的变量名。
• 文档风格：脚本内部应包含详细的帮助信息（–help），并在文件头部说明用途、作者、依赖环境和主要参数。
• 逻辑风格：防御式编程。优先考虑边界条件、资源释放（如文件句柄、GPU内存）、信号处理（如支持Ctrl+C优雅退出）和幂等性（脚本可重复安全执行）。

构图建议（脚本结构蓝图）

• 头部：Shebang、编码声明、文档字符串、导入依赖。
• 配置区：定义常量、默认参数，或加载外部配置文件。
• 函数定义区：将核心功能拆分为独立函数，如 `train_epoch`, `validate_model`, `send_alert`, `cleanup_old_files`。
• 主逻辑区：`if __name__ == “__main__”:` 之下，组织命令行解析、初始化（创建日志目录、检查环境）、主循环或流程控制、最终状态报告。
• 收尾：确保所有资源被正确清理，明确退出码（0表示成功，非0表示各类错误）。

细节强化

• 错误处理：明确指定需要捕获的异常类型（`try…except`），并记录堆栈信息。对于关键操作（如文件写入），增加操作成功与否的确认。
• 日志与输出：区分输出到控制台的`print`信息和写入日志文件的记录。日志格式应包含时间戳、日志级别、进程ID和消息。
• 可配置性：避免硬编码。将路径、超参数、阈值等通过命令行参数、环境变量或配置文件注入。
• 扩展性提示：在注释中标注出未来可能扩展的功能点，例如“# TODO: 未来可增加对TensorBoard的支持”或“# NOTE: 此处可扩展为支持多节点分布式训练”。

使用建议

• 将上述“核心提示词框架”中的一条或多条作为初始提示，直接与代码生成模型（如ChatGPT、Claude、专用代码生成器）交互。
• 在得到初步代码后，可追加细化指令，例如：“请为上述脚本的日志记录部分增加日志文件轮转功能，防止单个文件过大。”或“请为部署脚本增加数字签名验证步骤。”
• 生成的脚本应在安全的测试环境中充分验证其功能、异常处理流程和资源管理，再投入生产使用。
• 此方案也适用于编写脚本的设计文档或代码评审清单，确保脚本的工程质量。