ACM MM 2024 | 突破传统方法局限!用语义正确性评估视觉问答生成结果
©PaperWeekly 原创 · 作者 | 季慧山
单位 | 中科院信工所博士生
研究方向 | 计算机视觉
论文标题:
Towards Flexible Evaluation for Generative Visual Question Answering
针对视觉问答生成结果的灵活评估
Huishan Ji, Qingyi Si, Zheng Lin, Weiping Wang
https://github.com/jihuishan/flexible_evaluation_for_vqa_mm24
研究背景
随着多模态大语言模型(MLLM)的快速发展,如何公平准确地评估这些模型的多模态理解能力成为了一个关键问题。视觉问答(VQA)作为一个成熟的测试领域,在评估模型的视觉理解和语言生成能力方面发挥着重要作用。
然而,现有的 VQA 评估方法存在局限性,尤其是严格的“完全匹配”评估策略(只有当模型生成结果与数据集标注完全相同时才能得分)限制了 MLLM 展示其真实的多模态理解和文本生成能力,抑制了丰富的回答生成。
传统的 VQA 评估将问题处理为一个分类问题,而答案往往局限于预定义的类别中,这与 MLLM 生成多样化回答的趋势不符。这种评估方法不仅难以评估 MLLM 的多样化生成能力,而且在面对零样本测试时更是困难重重。因此,当前的 VQA 评估标准亟需改进,以便能够更好地对 MLLM 生成的多样化回答进行公平的评估。
研究动机
4.1 任务特点
判别粒度:STS 任务更关注文本的整体意义,而 VQA 生成结果评估则要求更细粒度的语义判别。在 VQA 生成结果评估任务中,打分器需要将回答和标准答案在给定问题下进行相似度比较。而由于问题相同,两者之间有大量的语义重叠,需要进行细粒度的相似度判别。 形态差异:STS 任务中的文本通常较长,而 VQA 的标准答案往往非常简短(例如一个单词或短语),且多模态大模型在回答时的生成内容常常是一个完整的句子。这种长度上的差异使得基于 n-gram 的评估方法(如 BLEU)在处理 VQA 任务时容易受到回答长度和上下文的影响,而模型在面对较大的长度差异(一个词 vs 一整个句子)时可能表现不佳。 分布偏移:STS 任务中的文本来自通用领域,而 VQA 数据集往往针对特定的子任务,如知识性问题或推理性问题。因此,不同 VQA 数据集之间存在显著的分布差异,这种分布上的偏移使得评估模型在不同数据集上的表现不一致。
4.2 新数据集
为了衡量不同的打分器在评估生成结果时的优劣(和人类评估的接近程度)并尽可能真实地模拟人类在对 VQA 生成结果进行评分时的场景,本文还使用数据增强结合人工标注的方式,提供了一个评估不同打分器的数据集(AVE, Assessing VQA Evaluators),构造过程如图 2 所示。
另一方面,为了能衡量不同的打分器模型在该数据集上的表现,本文设计了三种量化指标:Alignment,Consistency 和 Generalization。其中,Alignment 指的是和人类的打分趋势有多接近。
4.3 方法
经过测试发现,现有的衡量语义相似度的方法在该数据集上表现较差,尤其是在 Part 2 和 3 上的 alignment,以及整体的 consistency 指标较差。即,除了整体和人类评估的差异较大之外,模型不能很好地衡量不同长度和不同形式(但表达相同含义)的回答。
因此,本文针对该任务场景,采用常用的对比学习损失,设计了多种预训练任务,旨在帮助模型增强对细粒度差异的辨别能力,同时更为一致地评估不同长度和形式的回答,来构造本文提出的 SFVE(Semantically Flexible VQA Evaluator)。
采用的预训练任务包括:
1. 沿用常用的对比学习方法中使用的 NLI 数据集(MNLI 和 SNLI)来保证基本的语义相似度区分能力;
2. 利用多个已有的带有多个备选答案 VQA 数据集的训练集,将不同的备选答案互相作为正样本,将同一个问题的正确答案和随机答案作为负样本;
3. 将多个 VQA 数据集的训练集的短答案通过 wordnet 替换为近义词后使用 chatgpt 改变时态,作为正样本,随机答案作为负样本;
实验结果
如图 4 所示,本文所提出的方法相较于其他 baseline 而言大幅提高了和人类打分的对齐性,同时保证了较高的 consistency 和 generalization。对于 LLM 和 API 中的 ChatGPT,本文在测试时,要求其在给定问题下,评估标准答案和给定回答的相似度得分。
API 中的后两个模型为嵌入模型(即对一个输入提取其嵌入向量),本文采用和前文中 encoder 相同的做法,对嵌入后的向量计算 cosine 相似度作为得分。可以发现,在 125M 的 RoBERTa-base 和 355M 的 RoBERTa-large 的基础上,本文提出的 SFVE 方法显著超过了所有其他 baseline,包括 7b 的 LLM、ChatGPT 和顶尖的嵌入模型。
总结
此外,本文提出了一个新的数据集(AVE),用于评估不同的打分器的表现。基于对比学习和精心设计的预训练任务,本文还提供了一个语义灵活的 VQA 评估器(SFVE),在 VQA 评估中表现显著优于现有评估器,并且其训练方案相对通用,在 encoder-only 和 decoder-only 结构下都有良好的表现。
本文作者来自中国科学院信息工程研究所和中国科学院大学。作者列表:季慧山、佀庆一、林政和王伟平。其中,第一作者季慧山是中国科学院信息工程研究所博士生(https://github.com/jihuishan),通讯作者为中国科学院信息工程研究所研究员、博士生导师林政(主页:https://people.ucas.ac.cn/~linzheng)。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
微信扫码关注该文公众号作者