华科大发布多模态大模型新基准 覆盖五大任务

华科大发布多模态大模型新基准 覆盖五大任务

最近，多模态大模型（LMMs）的评估领域有了新动静。华中科技大学等机构联合发布了一项全面的评估新基准，直指当前多模态模型性能评估的痛点。这项研究阵容不小，一口气分析了14个主流模型，像谷歌的Gemini、OpenAI的GPT-4V等都包含在内，测试范围覆盖了五大类任务和27个数据集。问题来了：多模态模型的回答本身是开放式的，到底该如何科学、全面地给它们的各项能力打分？这恰恰是这项研究试图啃下的硬骨头。

研究团队特别把聚光灯打在了多模态大模型的“读图识字”能力——也就是光学字符识别（OCR）上。为了把这事儿弄清楚，他们专门构建了一个名为OCRBench的评测基准。这个基准可不简单，它在27个公开数据集的基础上，还额外加入了2个特别生成的数据集：一个无语义的字符组合，另一个则是有语义的对比数据。一番广泛测试下来，多模态大模型在OCR领域的真实水平和局限，被更清晰地勾勒了出来。接下来，我们就详细看看这个评测的框架、指标和它所使用的数据集。

项目地址:https://github.com/Yuliang-Liu/MultimodalOCR

评估结果透露了一些有趣的信息。在文本识别、文档问答这类任务上，多模态模型确实展现出了不俗的实力。然而，一旦碰到需要深度理解语义、识别手写体或是处理多语言文本的情况，挑战就来了。尤其是面对一堆毫无意义的字符组合时，模型的性能下滑明显。手写文本和多语言识别的瓶颈，很可能与模型训练数据在这些方面的覆盖不足有关。另外，研究还发现一个关键点：对于场景文本问答、文档理解和关键信息提取这些任务，喂给模型更高分辨率的输入图像，往往会带来更好的效果。

那么，怎么突破这些限制呢？研究团队的应对策略就是构建OCRBench这个专用基准。它的目标很明确：为多模态大模型的OCR能力提供一个更精准的“度量衡”。这一招，有望为模型未来的研发和改进指明方向，从而推动其性能和应用边界不断向外拓展。

可以说，OCRBench的推出，标志着多模态大模型评估进入了一个更精细的新阶段。它为研究者和开发者提供了一个更可靠、更全面的工具，来评估并优化模型的OCR能力。这项研究不仅仅是在评测方法上提供了新思路，更为整个领域后续的深入研究与实际应用，打下了一块坚实的基石。接下来，就看业界如何利用这个工具，共同推动技术向前跑了。