​Gemini终于赢了GPT-4o！Video-MME首个视频多模态基准来了！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba/多模态/扩散】交流群

添加微信：CVer5555，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

稿件作者：Happy

近日，中科大、厦大、港中文等高校联合推出多模态大模型视频分析综合评估基准Video-MME，全面评估多模态大模型的综合视频理解能力，填补了这一领域的空白。Gemini 1.5 Pro在这份榜单中遥遥领先，证明其在视频理解领域的霸主地位。Video-MME一经推出，更是被谷歌首席科学家Jeff Dean连续转发了三次！目前已有近30万的浏览量，热度很高。

GPT-4o的伟大已无需多言，而谷歌的Gemini 1.5 Pro作为挑战者，其标榜的视频推理能力终于在全新的、更复杂的多模态基准Video-MME上首次得到了验证，并全面超越了GPT-4o！同时，各大公司以及研究机构，例如NVIDIA、ByteDance等模型也加入了混战：

榜单一经放出，Jeff Dean也在第一时间进行了转发表示称赞，共连续转发了三次。

在先前的研究中，缺少可以全面评估大模型视频推理能力的基准。而在现实世界中，处理视频能力至关重要。为了填补这一空白，来自中科大、厦大，港中文等六大高校的研究者联合推出世界上首个多模态大模型视频分析综合评估基准Video-MME。

论文链接：https://arxiv.org/pdf/2405.21075

项目主页：https://video-mme.github.io

项目仓库：https://github.com/BradyFU/Video-MME    

该基准由全人工标注，具有区别于现有数据集显著的特点。在以下的例子中，准确回答该问题需要同时从视觉、字幕以及音频中同时获取信息，有效信息直接横跨30分钟的间隔：

Video-MME具有以下显著特点：

1.时间维度的广泛性：视频时长从11秒到1小时不等，涵盖短（<2分钟）、中（4-15分钟）、长（30-60分钟）三种不同的视频时长，全面评估模型在不同时间跨度下的上下文多模态理解能力；

2.数据模态的丰富性：除了视频帧，Video-MME还整合了字幕和音频模态输入，全面评估大模型的多模态处理能力；

3.视频类型的多样性：覆盖了知识、影视、体育、艺术、生活记录和多语言6个主要领域，涉及30个细粒度子领域；

4.注释质量的高标准：900个视频，共256小时的内容由具备大模型背景的专业人员手动标注与验证，产生了2,700个问答对。问题类型涵盖感知、认知和总结概括等12种类型；   

5.可靠的有效时长（Certificate Length准确回答问题所需的最短时长）：对于短视频、中视频和长视频，Video-MME数据集的有效时长中位数分别为26.0秒、164.7秒和890.7秒，要求模型消化更长的视频内容才能回答问题；

6.全面的实验评估：文章选取了6种代表性的开源视频语言模型以及闭源模型Gemini 1.5 Pro和GPT-4V/o进行全面的实验分析。同时文章还选取了基于图片的多模态大模型进行评测（泛化到多图输入），证明其同时适用于图片&视频多模态大模型。   

文章选取了多种代表性的开源视频多模态大模型，包括ST-LLM、VideoChat2-Mistral、Chat-UniVi-V1.5、LLaVA-NeXT-Video和VILA-1.5，以及闭源模型Gemini和GPT-4V/o 。同时，基于图片的多模态大模型包括Qwen-VL-Chat、Qwen-VL-Max和InternVL-Chat-V1.5。

在商业模型中，Gemini 1.5 Pro在视频理解方面表现突出，在加以字幕辅助的情况下以81.3%的准确率领先，并在与GPT-4V和GPT-o的对比中分别超出18%和4.1%。尽管随着视频时长增加，其表现略有下降，但在长视频上的表现（加字幕）优于所有开源模型在短视频上的表现。同时，Gemini 1.5 Pro还支持音频模态的输入，模态支持的更广。而在开源模型中，来自NVIDIA的VILA-1.5以59.4%的准确率表现最佳。然而，相比Gemini 1.5 Pro，VILA-1.5在计数问题、动作识别和时间感知方面仍然存在显著差距。   

同时，随着视频时长的增加，所有模型的表现均呈现明显的下降趋势，这也说明面对更长的上下文记忆以及更为复杂的任务时模型还有很大的提升空间。此外，实验还揭示了字幕和音频信息能显著增强视频理解能力，尤其是对于长视频的理解。

在三十种不同类型的视频上，Gemini 1.5 Pro展现出不同的性能。例如，有的任务对字幕和语音的依赖程度更高，如Basketball的长视频，加上字幕和语音能够显著提升性能。详细的实验结果请参照论文原文。   

综合实验结果可以看出，当前的多模态大模型在视频理解，尤其是长视频理解方向仍然有很长进步空间，一方面是要提升模型的多模态长上下文理解能力，Gemini 1.5 Pro最高支持百万长度的上下文窗口，这是其表现优异的依仗，另一方面也亟需构建相应的高质量长视频理解数据集，这方面当下仍处于空白。

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立

扫描下方二维码，或者添加微信：CVer5555，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。

一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer5555，进交流群

CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看