MBZUAI团队发布Maya多语言视觉模型：消除偏见，精准解读全球图像

2024年12月10日，一项由多伦多大学、印第安纳大学、帝国理工学院及MBZUAI等机构联合进行的研究在arXiv预印本平台公开（论文编号：arXiv:2412.07112v1），详细介绍了名为“Maya”的多语言视觉语言模型。该研究直接应对当前AI视觉语言领域的两大痛点：普遍存在的语言不平等现象，以及训练数据中难以根除的有害偏见。

当你尝试用中文、阿拉伯语或印地语向主流AI模型描述一张图片时，得到的回应往往不尽人意。这揭示了当前视觉语言模型的一个根本性缺陷：它们过度依赖英语数据，导致对其他语言的理解能力严重不足。更严重的是，训练语料中隐含的社会偏见和有害内容，会直接导致模型输出带有歧视性或误导性的结果。开发一个真正具备多语言理解能力且安全可靠的AI模型，是推动技术普惠的关键一步。

为此，研究团队构建了Maya模型。其名称源于梵语，意为“幻觉”或“魔法”，象征着模型处理多语言视觉信息的非凡能力。该模型首批支持英语、中文、法语、西班牙语、俄语、印地语、日语和阿拉伯语八种语言，覆盖了全球主要的语言群体。

Maya的创新性体现在三个核心环节：首先，它基于一个包含55.8万张图像的多语言图文预训练数据集，为模型提供了均衡的跨语言知识基础。其次，研究团队对原始数据进行了系统性的“净化”处理，主动识别并移除了有害内容。最后，模型架构经过专门优化，在跨文化语境的理解上展现出更强的鲁棒性。

一、从英语霸权到多语言平等的转变

当前视觉语言模型的核心瓶颈在于严重的语言数据倾斜。主流模型如LLaVA、Flamingo等在英语任务上表现卓越，但一旦切换到其他语言，其性能会出现断崖式下跌。

这种不平衡的根源在于训练数据的构成。大规模公开数据集如COCO、Flickr30K几乎完全由英语内容主导。即便像Multi30k这样的多语言数据集，其规模和文化多样性也难以支撑高质量的模型训练。

更深层的问题在于，现有数据集中普遍存在有毒内容和文化敏感信息。此前，学术界缺乏对图像文本数据集进行系统性毒性清理的成熟方法。研究发现，语言间的性能差异不仅源于翻译质量，更涉及文化符号和语境理解的缺失。例如，模型可能识别出传统服饰的视觉元素，却无法理解其背后的文化意义。

二、Maya的诞生：构建清洁多语言数据的艺术

为突破这些限制，团队决定从头构建一个高质量、无偏见的跨语言数据集。这项工作类似于为AI准备一份均衡的“多语言营养餐”。

团队以LLaVA数据集为种子，将其内容高质量地扩展至另外七种语言，最终形成了一个包含440万样本的语料库，并严格确保了八种语言的样本数量完全对等，从源头杜绝了语言偏好。

翻译过程采用了混合策略：先利用谷歌翻译进行初步转换，再通过Aya 35B等多语言大模型进行语义优化和润色。为确保翻译质量，团队设计了一套包含六种翻译模板的评估体系，并采用BLEU分数等指标进行筛选。最终选定的翻译框架在七种目标语言上的平均BLEU分数超过0.47，达到了专业级的翻译水准。

三、数据集的“排毒”革命：AI也需要健康饮食

训练数据的质量直接决定了模型输出的安全性。分析显示，原始LLaVA数据集中含有相当数量的涉及暴力、仇恨言论和不当性内容的图文配对。若不经处理，模型将不可避免地学习并复现这些有害模式。

团队为此部署了一套双重过滤机制。针对图像内容，采用LLaVAGuard 7B框架进行识别；针对文本描述，则使用Toxic-BERT模型进行扫描。这套机制如同为数据流水线设置了两道安全闸门。

过滤结果证实了清理的必要性：LLaVAGuard初步识别出7600张问题图片，经复核确认其中7111张确实有害；Toxic-BERT则以超过80%的置信度标记出892条有毒文本。最终，团队从数据集中移除了总计7531张图片，约占原始总量的1.35%。

清理过程并非简单粗暴的删除。团队利用Cohere的提示调优工具优化过滤精度，并引入Command R+模型进行最终裁决，通过多层验证有效降低了误判率。

四、Maya模型架构：多语言AI的精妙设计

Maya的架构设计旨在无缝桥接视觉与多语言理解。其核心基于LLaVA 1.5，并针对多语言场景进行了关键性改造。

语言理解模块采用了Aya-23 8B模型作为基础。该模型原生支持23种语言，为Maya当前涵盖的8种语言提供了坚实的底层支持，并为未来的语言扩展预留了空间。

视觉编码器方面，团队选用了SigLIP而非传统的CLIP模型。SigLIP在性能和多语言适应性上更具优势，其支持可变长度图像块处理的特性，使其能更灵活地处理不同分辨率的输入图像。

模型的核心创新在于视觉特征到语言空间的投影机制。输入图像经SigLIP编码后，其视觉特征通过一个可训练的投影矩阵映射为语言模型可理解的token序列。经过实验对比，一个简单的2层感知机结构取得了最低的训练损失和最佳效果，验证了简洁设计的有效性。

五、训练过程：从预训练到微调的完整流程

Maya的训练遵循两阶段范式：预训练学习基础的图文对齐，指令微调则赋予其复杂的对话与推理能力。

预训练阶段使用了构建好的多语言图文数据集，并采用多轮对话格式模拟真实交互。图像被统一缩放至256x256像素，以平衡细节保留与计算开销。

训练在8块H100 GPU上进行，采用1e-3的学习率与余弦退火调度。整个预训练过程仅更新投影矩阵的参数，冻结了语言模型和视觉编码器，耗时约20小时，效率极高。

指令微调阶段使用了PALO 150K数据集。团队尝试了低秩适应技术但效果一般，最终采用了全参数微调策略，耗时约48小时。此阶段同样冻结视觉与语言编码器，仅更新投影层。团队同步训练了标准版Maya和其净化版Maya-Toxicity-Free，以量化评估数据清理的影响。

六、实验结果：Maya的多语言表现力

在PALO多语言评估集上的测试表明，Maya展现了出色的跨语言性能平衡。尽管预训练仅覆盖8种语言，但模型在评估集包含的10种语言上均表现稳定。

在8种共同语言中，Maya在5种语言上的得分超越了同参数规模的PALO 7B模型。这一优势主要归功于其从预训练阶段就引入的多语言数据。Maya的平均得分达到60.4，显著高于PALO-7B的57.7分，性能接近部分13B参数模型。

Maya在阿拉伯语上的表现尤为突出，对比7B和13B基线模型均保持领先。这反映了针对阿拉伯语词根系统设计的翻译模板取得了良好效果。

在英语基准测试上，标准版Maya与其净化版性能几乎持平，表明移除有毒内容对模型核心能力的影响微乎其微，准确率差异普遍在1%以内。一个有趣的发现是，某些复杂推理任务可能受益于训练数据的多样性，即便其中包含部分争议内容。这提示我们需要在安全性与模型能力之间寻求动态平衡。

七、定性分析：真实场景中的表现

通过具体案例可以更直观地评估Maya的能力边界。在一个识别冰箱内物品的测试中，Maya能正确识别出草莓，但相比GPT-4，未能注意到草莓被放置在塑料盒中的细节。

在品牌识别任务中，Maya展现了不错的OCR能力，但在识别特定酸奶品牌时给出了错误答案。这类错误在同规模模型中普遍存在，更多受限于训练数据而非架构本身。

地理知识是Maya的明显短板。面对夏威夷钻石头山的航拍图，Maya错误地识别为“夏威夷七岛”，而基线模型则能给出准确地点。这暴露了模型在专业地理知识训练上的不足。

在多语言描述任务中，Maya的表现呈现出有趣的语言差异。例如，用孟加拉语描述食物图片时，会比英语版本提供更多细节，如提及碗中的肉类和木质餐桌；而西班牙语、法语等版本则未描述木桌。这种差异反映了不同语言版本训练数据的特点和侧重。

八、模型安全性评估：毒性过滤的效果

通过对比标准版与净化版Maya，研究团队深入分析了数据清理对模型行为的影响。在VizWiz数据集的详细评估中，净化版模型的准确率有0.06%的微小提升，表明移除有害内容可能带来轻微的正面效应。

在具体能力维度上，两个模型在二元判断问题上表现几乎一致，说明毒性移除对简单问答影响极小。但在“无法回答”类别中，净化版表现更好，准确率从30.88%提升至32.03%。这表明清理后的数据有助于模型更准确地认知自身知识边界，减少“幻觉”式回答。

在更复杂的MMVeT基准测试中，情况则更为复杂。净化版整体得分略有下降，在某些需要“空间感知+OCR+知识”的复合任务中，性能甚至降至零。这似乎印证了复杂推理任务对数据多样性的需求。然而，在纯语言生成任务中，净化版反而表现更优。这种差异化的影响表明，数据清理的效果高度依赖于下游任务类型。

九、技术创新与局限性分析

Maya的主要技术贡献在于其数据构建与清理的方法论。其混合翻译框架为创建高质量多语言数据集设立了新标准，系统性的模板评估与质量控制确保了各语言版本的一致性。这套方法论可复用于其他多模态任务。

毒性过滤系统的创新在于其双重验证机制。结合LLaVAGuard、Toxic-BERT与Command R+的协同工作，大幅提升了有害内容识别的准确率，并为理解过滤对模型性能的影响提供了宝贵的数据洞察。

当然，Maya也存在明确局限。其8B参数的规模限制了其在复杂推理和细粒度识别任务上的表现，在地理、品牌等专业领域与GPT-4等大型模型仍有差距。此外，尽管支持8种语言，但不同语言在文化特异性理解和表达上可能仍存在不均衡。

十、未来发展方向与应用前景

研究团队为Maya规划了清晰的演进路线。首先是扩展语言覆盖，计划将孟加拉语和乌尔都语纳入预训练，并将指令微调数据集扩展至66.5万样本，以提升多任务指令遵循的准确性。

在技术架构上，团队计划测试不同的投影层设计以优化跨模态对齐，包括解冻部分解码器层进行针对性微调。为不同语言定制翻译模板，以更好地保留语言特色与文化内涵，也是重要的优化方向。

评估体系将进一步完善，计划在PangeaBench、CVQA等更多专业基准上进行测试，确保模型能为多元文化背景的用户提供可靠且包容的支持。

Maya的应用场景广泛。在教育科技领域，可赋能更包容的在线学习平台；在医疗健康领域，能处理多语言的医学影像分析；在电商与内容行业，则可大幅提升跨语言商品描述与文化内容理解的能力。对于寻求服务新兴市场本地用户的企业，其多语言能力具有直接价值。

本质上，Maya代表了AI研发从英语中心主义向全球化范式转型的一次扎实探索。它通过系统性的数据清理与平衡构建，为开发更公平、安全、包容的AI系统提供了可复用的方法论。随着技术迭代，此类多语言视觉语言模型有望成为消除数字鸿沟、促进全球知识共享的关键基础设施。

Q&A

Q1：Maya模型支持哪些语言，为什么选择这些语言？

Maya首批支持英语、中文、法语、西班牙语、俄语、印地语、日语和阿拉伯语八种语言。这些语言的选择基于全球使用人口、语系代表性和文化覆盖度。技术实现上，模型基于原生支持23种语言的Aya-23 8B构建，为后续扩展提供了灵活的基础。

Q2：Maya的数据清理过程是如何进行的，效果怎样？

清理过程采用双重过滤系统：使用LLaVAGuard 7B识别图像有害内容，使用Toxic-BERT扫描文本毒性。经过多层验证，最终从55.8万张图片的数据集中移除了7531张有害图片，占比约1.35%。实验表明，清理后的模型在安全性上显著提升，而整体性能损失控制在极低水平。

Q3：Maya与同类多语言视觉模型相比有什么优势？

Maya的核心优势在于其从预训练阶段就采用的平衡多语言数据集，以及系统性的数据毒性清理。与PALO等依赖英语预训练数据的模型不同，Maya实现了更均衡的跨语言性能。在8种共同语言的评测中，Maya在5种语言上超越了同规模的PALO 7B，其60.4的平均分也显著高于后者的57.7分，性能接近部分13B参数模型。