爬虫采集开源模型微调方案清晰框架提示词

角色定义与任务定位

请以“技术方案架构师”或“AI模型应用工程师”的身份，运用本提示词框架。您的核心目标是：为“使用网络爬虫采集数据，并对开源大语言模型进行微调”这一技术任务，生成一份逻辑清晰、步骤完整、可直接指导开发或用于方案汇报的框架性文档或可视化图表。

适用场景

• 为团队内部技术评审会撰写模型微调项目技术方案。
• 为新项目启动绘制从数据到模型应用的全流程架构图。
• 编写技术博客或教程，系统化讲解开源模型微调的实战流程。
• 为自动化脚本或工具设计提供步骤与模块划分的逻辑依据。

核心提示词

以下提示词组合可直接用于生成方案框架或示意图：

• “绘制一个从‘目标网站’到‘微调模型部署’的完整技术流程图，包含数据采集、清洗、标注、模型选择、训练、评估、部署七大模块。”
• “撰写一份《基于爬虫数据与LLaMA模型的领域知识微调方案》，要求结构包含：1.项目目标 2.数据管道设计（采集策略、清洗规则、隐私处理） 3.模型选型对比（Llama、ChatGLM、Qwen） 4.微调方法（LoRA/QLoRA参数配置） 5.评估指标与测试用例 6.部署与迭代计划。”
• “生成一个‘开源模型微调实战检查清单’，以分点列表形式列出数据合规性检查、计算资源预估、训练代码仓库、监控指标等关键项。”

风格方向

• 文档风格：技术白皮书风格、项目开发文档风格、简洁清晰的Markdown技术指南。
• 图表风格：专业架构图（如UML时序图或组件图）、简约信息图、思维导图风格。配色建议使用蓝色/灰色系，体现科技感与专业性。
• 整体基调：逻辑严谨、步骤明确、侧重实战落地，避免过多理论堆砌。

构图建议（针对视觉化生成）

• 若生成流程图，采用从左到右的水平时间轴或从上到下的垂直阶段轴，用箭头明确连接各模块。
• 将“爬虫采集”与“数据清洗”模块用醒目的颜色（如橙色）标出，突出数据源头的重要性。
• 在“模型微调”核心模块周围，可视觉化环绕如“GPU”、“LoRA”、“损失曲线”等小图标或关键词。
• 使用分层或分组的方式，将技术栈（如Scrapy/PySpark、Hugging Face Transformers、vLLM）标注在对应模块下方。

细节强化

• 数据管道：强调数据去重、质量过滤、格式标准化、敏感信息脱敏等具体处理步骤。
• 模型与参数：具体化模型名称（如“Qwen-7B”）、微调方法（如“QLoRA, rank=64”）、关键超参数（如“learning_rate=2e-4”）。
• 评估体系：加入具体评估指标，如“在领域问答测试集上的准确率提升”、“输出格式合规性检查”。
• 风险与合规：提及robots.txt协议遵守、数据版权考量、个人隐私保护等合规性细节。

使用建议

• 将“核心提示词”中的语句直接输入至如GPT-4、Claude等文本生成模型，可快速得到详尽的方案草稿。
• 将“构图建议”与“细节强化”中的描述输入至如Midjourney、DALL-E 3等图像生成模型，可生成对应的技术架构示意图。
• 在实际项目中，可根据具体技术栈（如爬虫框架、微调平台）替换提示词中的通用术语，使生成的方案更具针对性。
• 本框架为通用模板，请根据“领域知识增强”、“对话风格迁移”等具体微调目标，进一步补充和细化数据标注要求和评估标准。