ICLR 2024 | 量化和增强模态偏好影响下的多模态鲁棒性
©作者 | 杨泽群
单位 | 人大高瓴GeWu-Lab
论文题目:
Quantifying and Enhancing Multi-modal Robustness with Modality Preference
https://arxiv.org/abs/2402.06244
代码链接:
https://github.com/GeWu-Lab/Certifiable-Robust-Multi-modal-Training
概述
多模态鲁棒性定义与分析
学习框架
本文考虑了一个通用的 K 分类问题,其中输入样本 由两个模态组成,即 ,并且有一个真实的标签 。为了整合这两种模态的信息,最常用的方法是联合学习 [1]。
在这个范式中,每种模态数据首先通过一个模态特定的编码器 转换成一个表示向量。这些表示向量随后被 concatenate,并通过一个线性分类器进行分类,分类器由权重矩阵 和偏置 参数化,其中我们有:
多模态鲁棒性评估
根据上文定义,可以得到关于多模态鲁棒半径的下界:
对于模态偏好的分析
模态偏好是广泛存在的现象 [3,4],在多模态学习中,模型非常容易偏好某一个模态,并被其主导。当模型在一个偏好的模态中学到足够可靠的信息时,它就难以从其他模态中学习更多信息,导致其他模态的单模态表示间隔变窄,限制了多模态模型的鲁棒性。
其次,模态偏好导致模型决策高度依赖特定模态,这意味着在模态整合时,偏好的模态会有更大的整合系数,可能放大单模态边缘在多模态决策中的变化。如果模型偏好的是一个易受攻击的模态,那么对这个偏好但易受攻击的模态的扰动会导致多模态边缘的变化更大,这在决策中会被进一步放大。
其同样能够再此基础上定义间隔,Lipschitz 常数并推导出鲁棒半径的下界。
实验结果
实验结果如下面的图和表所示:
总结和思考
参考文献
[1] Y. Huang, J. Lin, C. Zhou, H. Yang, and L. Huang, “Modality competition: What makes joint training of multi-modal network fail in deep learning?(provably),” in International Conference on Machine Learning. PMLR, 2022, pp. 9226–9259.
[2] Y. Tsuzuku, I. Sato, and M. Sugiyama, “Lipschitz-margin training: Scalable certification of perturbation invariance for deep neural networks,” Advances in neural information processing systems, vol. 31, 2018.
[3] I. Gat, I. Schwartz, and A. Schwing, “Perceptual score: What data modalities does your model perceive?” Advances in Neural Information Processing Systems, vol. 34, pp. 21 630–21 643, 2021.
[4] N. Wu, S. Jastrzebski, K. Cho, and K. J. Geras, “Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks,” in International Conference on Machine Learning. PMLR, 2022, pp. 24 043–24 055.
[5] L. Huang, X. Liu, B. Lang, A. Yu, Y. Wang, and B. Li, “Orthogonal weight normalization: Solution to optimization over multiple dependent stiefel manifolds in deep neural networks,” in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 32, no. 1, 2018.
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
微信扫码关注该文公众号作者