Bendi新闻
>
MLLM真能看懂数学吗?MathVerse来了次摸底测评,放出当天登热榜

MLLM真能看懂数学吗?MathVerse来了次摸底测评,放出当天登热榜

6月前


AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected][email protected]

1、背景

在大算力的数字化时代下,大语言模型(LLM)以其令人瞩目的发展速度,正引领着技术的潮流。基于它们强大的文本理解和生成能力,各大研究机构正在探索如何将这些能力扩展至视觉领域,构建一个能够理解和生成多模态内容的超级智能体 —— 多模态大语言模型(MLLMs)。

在追求通用视觉性能的道路上,社区内已经涌现出众多精心设计的测评 benchmark。它们通常使用贴近日常生活的自然图片作为样例,为 MLLMs 的视觉能力提供全面的评估,如 MME、MMBench 等。然而,要深入了解 MLLMs 的 “思维” 和 “推理” 能力,仅凭通用视觉性能的测评远远不够。多模态数学题求解能力,才是衡量它们深度认知和逻辑推理能力的真正试金石。

尽管如此,目前领域内依然缺少针对 MLLM 数学解题能力的测评 benchmark。现有的少数尝试,如 GeoQA、MathVista 和 MMMU,通过深入分析,仍然存在一定的问题和偏差。鉴于此,我们推出一个全新的测评 benchmark——MathVerse,旨在深入探究 MLLMs 是否真正具备解读和解答多模态数学题的能力,为未来的技术发展提供独特的见解。


  • 论文:https://arxiv.org/pdf/2403.14624.pdf
  • 主页:https://mathverse-cuhk.github.io/
  • 代码:https://github.com/ZrrSkywalker/MathVerse
  • 数据集:https://huggingface.co/datasets/AI4Math/MathVerse
  • 题目:MATHVERSE: Does Your Multi-modal LLM Truly See the Diagrams in Visual Math Problems?

值得一提的是,这项研究在当日的 HuggingFace Daily Paper 中排名第一,并在推特上引发了广泛的讨论,浏览量高大 10K+。

2、关键发现

然而,通过全面观察和分析,我们发现当前多模态数学 benchmark 中存在的三个关键问题:

1.MLLM 在测评中是否真正 “看到” 了数学图像?这是关于准确评估视觉数学问题解决能力最基本的问题。图 1(a)展示了当前 benchmark 中的三个示例。我们观察到,它们的题目文本中包含了大量与图像内容重复的信息(以红色高亮显示)。这种冗余可能无意中为 MLLM 提供了一条捷径,使它们在解决问题时主要通过阅读文本,而不是解读图表。我们假设从图 1(b)的实验中得到了支持。我们对每个 benchmark 随机抽样的 40 个问题,移除了这种冗余文本,挑战 MLLM 仅从视觉输入中捕获相应的信息。结果显示,大多数 MLLM 的准确率显著下降(蓝色柱子),甚至低于不将图表作为输入时的得分(灰色柱子)。这一结果表明,MLLM 在解决这些问题时,主要依赖于文本线索,而非真正去理解视觉图像本身,并且,在不输入图像的情况下,甚至可以得到更高的评分。鉴于此,我们展示了当前的视觉数学 benchmark 可能不足以全面评估 MLLM 的真正多模态数学推理能力。


2. 仅通过 MLLM 回答的最终答案来评估是否公平?大多数现有的多模态 benchmark 直接将模型输出与真值进行比较,以得出二元评估结果(“正确” 或者 “错误”)。虽然这种方法对于通用的视觉问答情境可能足够,但在需要复杂逐步推理的数学问题中却显得过于武断。在图 2 中,我们展示了三个不同模型的输出。尽管它们最终都得到了错误的答案,但它们在中间推理过程中展现了不同程度的精确性。仅将这些输出归类为 “错误”,未能捕捉到 MLLMs 推理质量的细微差别。


3. 它们是否能够全面并且专注的体现出 MLLM 的数学推理能力?GeoQA 仅仅包含了平面几何数学题,从而限制了对更广泛数学能力的评估,例如函数和立体几何。相反,MathVista 加入了广泛的辅助任务(自然图像、统计图表)来扩展范围,但这些并不直接评估 MLLM 的专业数学技能。此外,MMMU 中的数学问题具有大学级别的复杂度,需要广泛的领域特定知识,这可能阻碍 MLLMs 充分展示它们的推理能力。

3、MathVerse Benchmark

1. 数据组成和统计

MathVerse 测评数据集收集了 2612 个多模态数学题,并人工标注构造了多达 15672 个测试样本,广泛涵盖了 3 个主要题目类型和 12 个子类,例如平面几何、立体几何和函数。经过团队细致检查与标注,MathVerse 高质量数据可以为 MLLM 提供一个鲁棒且全面的能力测评。



2. 如何体现 MLLM 的数学图像理解能力?

我们首先根据题目中文本和图像的信息关联,如下图所示,定义了 3 种不同的文本类别

  • a. 描述信息,Descriptive Information(DI,红色高亮部分)指的是图像中可直接观察出的内容。它描绘了基本图形组成、几何形状和空间布局。此类文本信息对于图像而言是重复性的,因此被视为解决问题的冗余信息。
  • b. 隐含属性,Implicit Property(IP,蓝色高亮部分)指的是那些需要更强的视觉感知能力才能从图像中辨识出来的属性。它代表着解决问题所需的较强视觉条件,如线条之间的平行性和垂直性、三角形之间的相似性和全等性、函数的种类和周期性。
  • c. 基本条件,Essential Condition(EC,绿色高亮部分)指的是题目中给定的具体数值,它们是推导解决方案不可或缺的条件,并且不能从视觉图表中直接得出,例如角度、长度的精确值和函数表达式。


基于以上三种文本信息的定义,我们将每道多模态数学题通过人工标注,系统地移除问题中的不同文本信息,并逐步将关键元素融入到图表中,拓展为 6 个不同的题目版本,如下图所示。这种方法可以逐渐减少文本中提供的信息量,从而越来越有力地迫使 MLLM 从视觉输入中捕获数学条件。通过比较 MLLM 在不同题目版本之间的得分,我们可以很清晰的评估它们的真实视觉理解能力。


3. 如何细致评估 MLLM 的中间解题步骤?

与一般情景下的视觉问题回答相比,MLLM 解决数学问题的过程需要细腻、逐步的链式推理(Chain-of-Thought,CoT)。为此,我们提出了一种 CoT 评估策略,以细致的评估它们的视觉数学链式推理能力。我们的 CoT 策略通过分别提示 GPT-4 和 GPT-4V 进行两个阶段的测评:关键步骤提取(Key-step Extraction)和多步评分(Multi-step Scoring)。如下图所示:


这种评估策略不仅关注最终答案的正确性,而且更加重视解题过程中的逻辑连贯性和推理深度。通过这种方法,我们能够更加精准地揭示 MLLM 在解决复杂数学问题时的真实能力,尤其是它们如何一步步构建问题解决方案的能力。这对于理解 MLLMs 的思维方式、推理能力,以及它们如何处理和解释视觉与数学信息的综合能力至关重要。

4、实验与结论

我们在 MathVerse benchmark 上测评了 17 个现有的 MLLM,如下表所示。其中 “CoT-E” 代表使用了我们提出的 CoT 测评策略,而 “w/o” 代表了直接进行二元对错的测评结果。


基于测评,我们可以得出以下结论:

  1. MLLM 更依赖于文本信息去解题,而不是观察数学图像。
  2. 除 GPT-4V 和 ShareGPT4V 之外,大部分 MLLM 在没有图像输入的情况下,仅仅通过文本竟然可以获得更高的得分,证明如今低质量的视觉编码对于解题来说起到了负面的作用。
  3. MLLM 很难从图像中准确的解读出题目中的基本条件和问题。
  4. 闭源模型的多模态数学解题能力要比开源模型更好。
  5. 通过比较 G-LLaVA 和 LLaVA-1.5,使用数学训练数据进行模型微调可以提升特定的解题能力,但是也会降低其泛化能力。
  6. CoT 测评相比二元测评可以更全面的体现模型的逻辑推理能力。




© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

来源:机器之心

相关新闻

首个WebAgent在线评测框架和流程数据管理平台来了,GPT-4、Qwen登顶闭源和开源榜首!2024年Trader Joe’s最受欢迎榜单来了!这17样人气商品你试过了吗?仅用 30 分钟!开发者做“山寨版” VSCode 扩展,攻破 4830 亿美元巨头,甚至登上了官方热趋榜?直播网友AI写歌征婚,实测最新登榜音乐SOTA模型:免费无限次,一键生成新的多模态盲测榜单来了,一眼望过去全是国产模型 | AI鲜测赴美留学必看!美国高校“大众点评”新榜单来了US News全美最佳高中排名来了,麻州榜单有什么变化?国内榜单评级,落后了国外多少年?全美最好的州!榜单出炉!你所在州上榜了吗?欧洲版《歌手》霸榜热搜?!“英区二手玫瑰”竟得0分,英网友:别回来了,丢人靠AI应用霸榜美国,中国教培巨头能迎来重估吗?GPT Store热度榜前 12 都是啥?我们帮你用了一遍又双叒导了?中科院等发布「近室温常压」超导新论文,相关话题一度知乎热榜第一侃爷又来惹霉霉了!把她写进新歌,暗讽她被自己挤下榜...又要开战!?​首个WebAgent在线评测框架和流程数据管理平台,GPT-4、Qwen登顶榜首!2024英式经典下午茶必吃榜来了!首个基于Mamba的MLLM来了!模型权重、训练代码等已全部开源每日步数霸榜健康吗?两项研究显示:≥7000步/天可降低死亡风险72%,≥10000步/天可降低死亡风险55%,且步伐强度也重要500行代码构建AI搜索工具,贾扬清最新开源项目登顶GitHub热榜500行代码打造AI搜索引擎!贾扬清周末项目登顶GitHub热榜牛肉好评榜 TOP1是谁?当然是Swift 去骨牛后腿腱心!厉害了!新西兰又登榜世界之最!隐秘、免费而且人迹罕至!这10个新西兰夏季景点,一定要去一次!登顶预约榜、首测10万名额抢空,贪玩想在SLG搞一波大的面甜心硬!胡润富豪榜最年轻女性,她配吗?
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。