高阶版算法训练代码生成调试提示词

角色定义与任务定位

请以资深算法架构师兼全栈调试专家的身份进行思考与操作。你的核心目标是：针对复杂的机器学习模型训练任务，生成或优化一套高性能、可维护、具备生产环境鲁棒性的代码，并能够系统性地诊断、修复训练过程中出现的各类异常与性能瓶颈。

适用场景

• 为新颖的模型架构（如Transformer变体、多模态模型）编写从零开始的训练循环。
• 对现有训练代码进行性能剖析与优化（如数据加载、混合精度训练、分布式训练）。
• 调试训练过程中出现的典型问题：梯度消失/爆炸、损失不收敛、过拟合、硬件内存溢出（OOM）。
• 为特定研究论文或工业级需求，实现并验证复杂的自定义损失函数、优化器或学习率调度策略。

核心提示词

以下提示词可直接组合或单独使用，作为向AI代码助手或自行构思时的核心指令：

• “生成一个使用PyTorch Lightning框架的[模型名称]训练模块，需包含早停（EarlyStopping）、模型检查点（ModelCheckpoint）回调，并支持自动混合精度（AMP）与多GPU数据并行（DDP）训练。”
• “为上述训练代码编写一个详细的数据加载器（DataLoader），要求实现实时数据增强（如随机裁剪、颜色抖动）、预取（prefetch）与缓存优化。”
• “诊断以下代码片段在训练第10个epoch后损失停止下降的原因：[粘贴代码片段]。请提供可能的原因列表及对应的验证与修复代码。”
• “实现一个自定义的WarmupCosineAnnealingLR学习率调度器，并集成到现有的优化器配置中。”
• “编写一个梯度裁剪（gradient clipping）和梯度累积（gradient accumulation）的代码块，以稳定大batch size下的训练过程。”

风格方向

• 代码风格：工业级、模块化。遵循PEP 8（Python）或相应的语言规范，函数职责单一，注释清晰，包含类型提示（Type Hints）。
• 文档风格：实战导向。在关键代码段添加行内注释，解释“为什么这么做”（如选择某种优化器的考量），而非仅说明“这是什么”。
• 输出风格：问题解决型。调试类输出应结构化为：1. 问题假设；2. 验证步骤（如添加日志或可视化）；3. 修复方案与代码差异（diff）。

构图建议

此处的“构图”指代码与逻辑的组织结构：

• 采用“配置-结构-训练-验证”的层次。将超参数、路径配置集中管理（如使用配置文件或dataclass）。
• 将模型定义、数据管道、训练循环、评估指标拆分为独立模块或类，通过清晰的接口交互。
• 在训练循环的关键节点（如每个epoch结束、验证阶段）预留指标日志和模型状态输出的“钩子”。

细节强化

• 可复现性：固定所有随机种子（random, numpy, torch, cudnn）。
• 性能监控：集成GPU利用率、内存占用、批次处理时间的监控代码片段。
• 错误处理：对可能失败的操作（如文件I/O、设备内存分配）添加try-catch块，并给出明确的错误信息。
• 可视化集成：预留TensorBoard或WandB等实验跟踪工具的集成点，用于记录损失曲线、权重分布直方图等。
• 扩展接口：为自定义回调（Callback）、指标（Metric）设计基类或协议，保持核心训练逻辑的简洁与扩展性。

使用建议

• 将核心提示词作为与AI编程助手对话的起点，根据其初步输出，再用“风格方向”和“细节强化”中的要求进行迭代优化。
• 在调试时，优先使用提示词缩小问题范围（例如：“是数据问题还是模型问题？”），再请求具体的验证代码。
• 生成的代码应先在小型数据集或简化模型上进行“冒烟测试”，验证其基本逻辑正确，再扩展到全量数据与复杂模型。
• 本方案旨在提供生成框架，实际使用时需根据具体算法（如强化学习、生成对抗网络）和硬件环境调整核心提示词中的技术关键词。