ShareGPT转OpenAI格式：完整数据处理与适配教程

处理ShareGPT格式对话数据时，若下游训练框架或推理服务仅支持OpenAI官方的chat-completion格式，则需进行数据格式转换。核心操作是将包含“human”与“gpt”标签的对话列表，映射为标准化的“user”和“assistant”角色消息序列。根据项目技术栈与数据规模，可选择以下四种主流方案。

一、Python脚本手动映射：实现精细控制与数据清洗

对于需要深度数据清洗或追求完全控制权的场景，编写Python脚本是最直接的方法。流程涵盖读取、解析、转换与写入四个步骤。

具体实施时，首先逐行读取 *_sharegpt.jsonl 文件。针对每条数据的“conversations”列表进行遍历，将“from”字段值为“human”的项映射为 `{"role": "user", "content": ...}`，将“gpt”映射为 `{"role": "assistant", "content": ...}`。非标准角色（如“function_call”）通常建议忽略。转换完成后，将新的消息列表写入新的JSONL文件。关键细节在于：输出对象应严格限定“role”与“content”两个字段。除非下游框架明确支持，否则避免引入“system”、“name”或“tool_calls”等扩展字段，以防格式兼容性错误。

二、LlamaFactory内置对齐：集成化训练流程的便捷方案

若项目已基于LlamaFactory构建，可利用其内置的 `align_dataset()` 流程自动完成格式对齐，无需额外编写转换逻辑。

操作流程如下：在 `dataset_info.json` 配置文件中，为目标数据集指定 `type: "sharegpt"` 与 `format: "openai"`。同时，确保 `dataset_attr` 配置中的 `is_chat` 设为 `true`，且 `train_on_prompt` 设为 `false`。执行 `llamafactory-cli train` 命令时，系统将自动触发格式转换，可通过日志中“Aligned to OpenAI chat format”提示确认成功。重要注意事项：训练时请勿启用 `--packing` 参数，该参数会将多条消息打包以填充序列长度，从而破坏每个样本独立的消息结构，影响模型训练效果。

三、Medusa专用转换脚本：标准化格式桥接工具

对于寻求开箱即用转换工具的用户，Medusa项目提供的 `convert_to_openai.py` 脚本是理想选择。该工具专为格式桥接设计，易于集成至多阶段训练流水线。

使用方法直接：安装medusa包后，进入其 `data_generation` 目录，执行如下命令：

python convert_to_openai.py --input_path your_data_sharegpt.jsonl --output_path output_openai.jsonl

脚本会严格执行“human”到“user”、“gpt”到“assistant”的映射。其优势在于自动过滤“value”字段中的非法控制字符，避免后续JSON解析错误，提升数据处理流程的健壮性。输出文件的每一行均为结构清晰的标准化OpenAI格式对象。

四、Hugging Face Datasets流式处理：大内存数据集动态转换

面对大规模数据集，若希望避免生成额外存储文件，可采用Hugging Face Datasets库进行动态格式转换。

首先，使用 `load_dataset("json", data_files="data.jsonl")` 加载ShareGPT数据。随后，定义一个映射函数：针对每个样本，提取其“conversations”列表并构建对应的“messages”列表，返回仅含“messages”键的新字典。调用 `dataset.map()` 应用此函数，并设置 `remove_columns=["conversations"]` 以移除原始结构。保存新数据集时，建议设置合理的 `writer_batch_size`（例如1000），此举旨在避免因单批次处理数据量过大导致内存溢出，进而引发消息列表被意外截断的数据丢失问题。

选择何种方案，取决于你对控制粒度、框架集成度、工具链成熟度及数据规模的具体要求。明确需求后，选择对应策略即可高效完成格式转换任务。