字节、华科发布多语种视觉文本理解新基准，多模态大模型还有很长的路要走

3天前

近期多模态大模型（MLLM）在视觉文本理解领域取得了显著进展，比如开源模型 InternVL 1.5、MiniCPM-Llama3-V 2.5、TextMonkey，闭源模型 GPT-4o、Claude 等，甚至在某些方面展现了超越人类的能力。然而，当前的评估主要集中在英文和中文的语言环境中，对于更具挑战的多语种环境，研究还相对缺乏。在全球化的今天，多语言环境越来越多的出现在人们日常生活中，也给人工智能的发展带来了很大的挑战。

MTVQA（Multilingual Text-Centric Visual Question Answering）基准测试正是在这样的背景下应运而生，专注于以多语言文字为中心的视觉问答,旨在填补现有评测基准在多语种视觉文本领域的空白。

MTVQA 涵盖了阿拉伯语、韩语、日语、泰语、越南语、俄语、法语、德语和意大利语等 9 种语言，收集整理了自然场景和文档场景下的多语种富文本图片，如菜单、路标、地图、账单、PPT、论文、图表等。问答对都经过人类专家的精心标注，以确保视觉文本与问题及答案之间的高度一致性。

在 MTVQA 基准的测试结果显示，无论是开源模型还是最先进的闭源模型如 GPT-4o（Acc. 27.8%），准确率不到 30%，开源的文档类专家大模型表现也不尽如人意。

无论从哪方面来看，多语种文字理解能力都还有较大的提升空间。MTVQA 重点关注除中英文以外广泛使用的语言，希望能促进多语种文字理解能力的发展，将多模态大模型的成果普及到更多的国家和地区。

论文链接：

https://arxiv.org/abs/2405.11985

项目链接：

https://bytedance.github.io/MTVQA/

▲ 图1 MTVQA 中不同语种和场景样例展示

背景介绍

视觉文本理解能力是多模态大模型能力中的一个关键维度，现有的 benchmark 如 DocVQA、TextVQA、STVQA 等在 GPT-4o、Gemini 、Internlm VL 等先进的闭源和开源 MLLMs 的测评中发挥了重要作用，评估了多模态大模型在不同维度的视觉文本理解能力，但是他们都专注于中英文能力的测评，缺少一个能够测评其他语种理解能力的 benchmark。

针对这些不足，字节和华科的研究者提出了 MTVQA，首个全面测评多场景多语种视觉文本理解能力的 benchmark。

MTVQA的构建过程

a）数据收集

测试集包括 1220 张泛文档类的图片和 876 张自然场景的图片，数据来源可分为三部分：

网络收集的图片，如 PPT、paper、logo 等。
实地采集拍摄图片，包括各种场景，时间跨度 2023 年 3 月到2024 年 3 月。
现有公开数据，从 ICDAR MLT19 的公开图片中采样了一些具有代表性的场景文本图片。

b）数据标注

所有 QA 数据均为经过培训的母语人士进行标注，并进行多轮交叉验证，确保问题的丰富性和答案的准确性。

标注规则：

问题必须和图片中的文字内容有关
每张图片包括 3 个可以直接问答的问题和 2 个需要进行一定推理的问题
答案尽可能和图片中的文字保持一致
答案尽可能简短，不重复问题的内容

▲ 图二 MTVQA 数据标注流程

交叉评估和修改：

评估问题和图片中文本内容的相关性
评估答案的准确性和完整性
道德评估，判断是否符合人类道德规范

c）数据集概览

▲ 图三 MTVQA 涵盖的丰富场景以及不同语种的 QA 数量

▲ 图4 Word Cloud

MLLMs在MTVQA Bench上的表现

在 MTVQA 上对 19 个先进的 MLLM 进行来测评，包括开源和闭源模型，测评结果如下：

实验结果发现：

多语种文字理解现阶段任然是非常有挑战性的任务。尽管 GPT-4o 在大部分语种和总体成绩上取得了第一名的成绩，但是平均准确率只有 27.8，相比于多模态大模型的英文理解能力，差距明显，更别谈和人类的差距了。
开源模型和闭源模型存在较大的差距。最优的开源模型是 MiniCPM-V 2.5，取得了 18.9% 的成绩，但距离顶尖的闭源模型如 QwenVL Max, Gemini Ultra, Claude3 Opus, GPT-4o 等还比较远。
以文字理解为中心的多模态大模型并没有明显的优势。研究者选取了最近的 3 个以视觉文字理解为中心的 MLLM，mPLUG-DocOwl 1.5，TextMonkey，TextSquare，发现最优的 TextSquare 相比通用 MLLM MiniCPM-V 2.5 并没有优势（15.6 vs. 18.9）。
不同语种的理解能力差距明显。拉丁类的语种如意大利语、德语、法语的表现远好于非拉丁类语种如日语、韩语、俄语。这应该是由于拉丁类语种在视觉和语义上都和英文更相似。

总结

来自字节跳动和华中科大的研究者们针对多语种视觉文本理解任务提出了新的测评基准 MTVQA Bench，并对多模态大模型的表现进行了测评和分析。研究发现，多语种视觉理解任务难度很大，当前多模态大模型表现较差，距离人类的水平还有很长的路要走。研究者们期待后续多模态大模型的研究和发展更加关注多语种场景，扩大多模态大模型的应用范围，使得更多国家和地区的人们能够参与其中，共享人工智能带来的便利。

更多阅读