结构化多语言站点模型蒸馏思路提示词

角色定义与任务定位

请以“多语言AI模型蒸馏架构师”的身份，运用此提示词方案。您的核心目标是：为构建一个高性能、轻量化且能覆盖多语言内容理解与生成的站点模型，规划并执行一套从大模型到小模型的完整知识蒸馏技术路线。

适用场景

• 为多语言内容平台（如新闻站、电商站、社区论坛）开发轻量级、低延迟的端侧或云端部署模型。
• 将庞大复杂的多语言大模型（教师模型）的核心能力迁移至更高效的小模型（学生模型）中。
• 设计一个可复用的蒸馏流程，以统一处理多种语言的文本特征与语义表示。

核心提示词

可直接用于任务规划或流程描述的提示词组合：

• 多语言知识蒸馏完整流程：教师模型选择 -> 多语言对齐数据准备 -> 蒸馏损失函数设计（结合KL散度、注意力转移、隐藏状态匹配）-> 学生模型结构优化 -> 多语言评估基准测试。
• 关键步骤提示：采用多语言BERT或XLM-R作为教师模型；构建平行语料库或使用翻译对齐数据；引入语言自适应权重到蒸馏损失中；为学生模型嵌入跨语言共享的词表与适配器。
• 目标描述：蒸馏出一个参数量小于100M，支持至少5种核心语言（如中、英、日、西、阿），在语义相似度、分类任务上性能接近教师模型80%以上的轻量多语言模型。

风格方向

• 技术架构风格：逻辑严谨的流程图、模块化设计图、性能对比图表。强调步骤的清晰性与技术的可行性。
• 文档风格：专业、系统、条理分明。采用分步阐述、要点罗列的方式，避免文学化描述。
• 视觉隐喻：可使用“知识灌注”、“模型瘦身”、“桥梁搭建”等概念进行可视化辅助表达。

构图建议

• 采用从左到右或自上而下的流程图构图，清晰展示“数据准备 -> 教师模型 -> 蒸馏训练 -> 学生模型 -> 评估部署”的主干流程。
• 在关键节点（如“多语言数据对齐”、“损失函数融合”）使用放大或高亮视觉元素进行细节展开。
• 考虑使用对比式构图，并列展示蒸馏前后模型在大小、速度、多语言覆盖范围上的直观差异。

细节强化

• 数据细节：强调数据清洗、语言标签标注、句子对对齐质量、以及低资源语言的数据增强策略。
• 技术细节：具体提及使用的框架（如PyTorch, Hugging Face Transformers）、蒸馏技巧（如温度参数T的调整、中间层注意力迁移）。
• 评估细节：明确列出评估指标（如准确率、F1值、推理延迟）和使用的多语言基准数据集（如XNLI, MLQA）。
• 色彩与质感：主色调可采用蓝色系（代表技术与理性），搭配橙色或绿色高亮关键信息。质感上追求简洁的科技感线条与扁平化图标。

使用建议

• 将此方案作为蒸馏项目启动的蓝图，依次填充每个模块的具体技术选型与参数。
• “核心提示词”部分可直接复制，用于生成项目计划书、技术方案PPT的章节标题或核心内容描述。
• 在构思流程图或架构图时，参考“构图建议”与“细节强化”中的元素，使视觉呈现与技术内容高度一致。
• 根据实际语言优先级和资源约束，动态调整“核心提示词”中支持的语言数量、模型规模目标等参数。