Bendi新闻
>
CVPR 2024 | 谷歌提出OmniGlue:特征匹配新工作

CVPR 2024 | 谷歌提出OmniGlue:特征匹配新工作

5月前

点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

点击进入—>【Mamba/扩散/多模态】交流群

添加微信:CVer5555,小助手会拉你进群!

扫描下方二维码,加入CVer学术星球可以获得最新顶会/顶刊上的论文ideaCV从入门到精通资料,及最前沿应用!发论文/搞科研/涨薪,强烈推荐!

转载自:机器之心 | 编辑:杜伟

第一个以「泛化」能力为核心设计原则的可学习图像匹配器来了!

最近,研究社区又提出了新颖的可学习图像匹配器,在传统基准上实现了性能的不断改进。尽管已经取得了长足的进步,但这些进展忽略了一个重要方面:图像匹配模型的泛化能力。
如今,大多数局部特征匹配研究都集中在具有丰富训练数据的特定视觉领域(如室外和室内场景),这就导致了模型高度专用于训练领域。遗憾的是,这些方法的性能在域外数据(如以对象为中心或空中捕获)上通常急剧下降,在某些情况下甚至可能并不比传统方法好很多。
因此,传统的域无关技术(如 SIFT)仍被广泛用于获取下游应用的姿态。并且由于收集高质量注释的成本很高,在每个图像域都有丰富的训练数据是不现实的,就像其他一些视觉任务一样。因此,社区应该专注于开发架构改进,使得可学习的匹配方法具有泛化能力。
近日,受上述观察的启发,德克萨斯大学奥斯汀分校和谷歌研究院的研究者联合提出了 OmniGlue,这是第一个以泛化为核心原则设计的可学习图像匹配器。在与域无关的局部特征基础上,他们引入了用于提高匹配层泛化性能的新技术:基础模型指导和关键点位置注意力指导。
  • 论文地址:https://arxiv.org/pdf/2405.12979
  • 项目主页:https://hwjiang1510.github.io/OmniGlue/

如图 1 所示,通过引入的技术,OmniGlue 能够在分布外领域上实现更好泛化性能,同时保持源领域上的高质性能。

研究者首先整合了基础模型的广泛视觉知识。通过对大规模数据进行训练,基础视觉模型 DINOv2 在各种图像域中的各种任务(包括稳健的区域级匹配)中表现良好。尽管基础模型所产生匹配结果的粒度有限,但当专门的匹配器无法处理域位移时,这些模型可以为潜在的匹配区域提供可泛化的指导。因此,他们使用 DINO 来指导图像间特征传播过程,降低不相关的关键点并鼓励模型融合来自潜在可匹配区域的信息。
接着利用关键点位置信息来指导信息传播过程。研究者发现,当模型应用于不同领域时,以往的位置编码策略会损害性能。这促使他们与用于估计对应关系的匹配描述符区分开来。研究者提出了一种新颖的关键点位置指导注意力机制,从而避免过于专注关键点的训练分布和相对姿态变换。
通过实验,研究者评估了 OmniGlue 在各种视觉领域的泛化能力,包括合成图像和真实图像,从场景级到以对象为中心和空中数据集,期间使用小基线和宽基线相机。与以往工作相比,OmniGlue 展示出显著的改进。
方法概览
下图 2 概述了 OmniGlue 方法,主要包括以下四个阶段。
首先,研究者使用两种互补类型的编码器提取图像特征,包括了专注于通用细粒度匹配的 SuperPoint 以及对粗略但广泛的视觉知识进行编码的视觉基础模型 DINOv2。
其次,研究者使用这些特征构建关键点关联图,包括图像内和图像间。
第三,研究者基于构建的图在两张图像中的关键点之间传播信息,分别使用自注意力层和交叉注意力层进行图像内和图像间通信。
最后,一旦获得改进后的描述符,研究者应用最佳匹配层来生成两张图像中关键点之间的映射。
在具体细节上,OmniGlue 方法主要包含以下几步。
特征提取。输入是两张具有共享内容的图像,表示为 I_A 和 I_B。研究者将这两张图像的 SuperPoint 关键点集表示为 A := {A_1, ..., A_N } 和 B := {B_1, ..., B_M}。N 和 M 分别是 I_A 和 I_B 的已识别关键点的数量。每个关键点都与其 SuperPoint 局部描述符 d ∈ R^C 相关联。
利用 DINOv2 构建图形。研究者利用 DINOv2 特征来指导图像间图形的构建。如下图 3(左)所示,他们以 G_B→A_i 为例。对于关键点集合 A 中的每个关键点 A_i,研究者计算其与集合 B 中所有关键点的 DINOv2 特征相似度。
具有新颖指导的信息传播。研究者根据关键点图执行信息传播,这一模块包含了多个块,每个块都有两个注意力层。第一个基于图像内图更新关键点,执行自注意力;第二个基于图像间图更新关键点,执行交叉注意力。
匹配层和损失函数。使用改进的关键点表示来生成成对相似度矩阵:
对比 SuperGlue 和 LightGlue
SuperGlue 和 LightGlue 都使用注意力层进行信息传播。不同的是,OmniGlue 利用基础模型来指导这个过程,这对迁移到训练期间未观察到的图像域有很大帮助。
在局部描述符改进方面,与 SuperGlue 不同,OmniGlue 解耦了位置和外观特征。作为参考,SuperGlue 将关键点表示为 d + p,将两个特征纠缠在一起,其中位置特征也用于产生匹配结果。
与 OmniGlue 的设计类似,LightGlue 消除了更新的描述符对位置特征的依赖,但提出了一种非常具体的位置编码公式,基于旋转编码,并且仅在自注意力层中。
总之,SuperGlue 是最接近 OmniGlue 的模型,可作为直接对比的参考。也因此,研究者使用 SuperGlue 作为实验验证的主要参考比较。
实验结果
研究者在下表 1 中列出了用于评估 OmniGlue 的数据集和任务。
从 Synthetic Homography(SH)到 MegaDepth(MD)数据集,如下表 2 所示,与基础方法 SuperGlue 相比,OmniGlue 不仅在领域内数据上表现出优异的性能,而且还表现出强大的泛化能力。
从 MegaDepth(MD)到其他领域,如下表 3 所示,OmniGlue 不仅在 MegaDepth-1500 上实现了与 SOTA 稀疏匹配器 LightGlue 相当的性能,而且与所有其他方法相比,在 6 个新领域中的 5 个领域中表现出更好的泛化能力。
研究者在下图 5 和图 4 中分别展示了新领域上的零样本泛化性能以及在源领域上的性能。
最后如下表 4 所示,OmniGlue 更容易适应目标领域。
更多技术细节和实验结果请参阅原论文。

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复:何恺明,即可下载本课程的所有566页课件PPT!赶紧学起来!

CVPR 2024 论文和代码下载

在CVer公众号后台回复:CVPR2024,即可下载CVPR 2024论文和代码开源的论文合集


Mamba、多模态和扩散模型交流群成立

扫描下方二维码,或者添加微信:CVer5555,即可添加CVer小助手微信,便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。


一定要备注:研究方向+地点+学校/公司+昵称(如Mamba、多模态学习或者扩散模型+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群

▲扫码或加微信号: CVer5555,进交流群


CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉(知识星球),已汇集近万人!


扫码加入星球学习


▲点击上方卡片,关注CVer公众号

整理不易,请点赞和在看

微信扫码关注该文公众号作者

来源:CVer

相关新闻

CVPR 2024 | 北大提出HoT:高效3D人体姿态估计新框架超 1.2 万人参加 CVPR 2024,谷歌研究院获得最佳论文CVPR 2024 中科院等提出:实时人像视频三维感知重光照方法CVPR 2024 | 腾讯提出LORS:低秩残差结构,瘦身模型不掉点!CVPR 2024|Adobe提出人像抠图新网络MaGGIeCVPR 2024 | 字节提出视觉基础模型:ViTamin,实现多项SOTA!CVPR 2024 | 南洋理工提出动态人体渲染新范式,高度还原跳舞时飞扬的裙摆CVPR 2024 | 中科大&微软提出:迈向更统一的上下文视觉理解CVPR世界第二仅次Nature!谷歌2024学术指标出炉,NeurIPS、ICLR跻身前十CVPR 2024 | 北大&电子科大提出RCBEVDet:毫米波雷达-相机多模态的感知架构CVPR 2024 | 多模态合作学习的新视角:样本级模态的评估与协同CVPR 2024 | 通用视觉新突破!UC伯克利提出首个无自然语言的纯视觉大模型CVPR成全球第二大学术出版物,超越Science!AI顶会占领前20|谷歌学术指标2024《自然》子刊:50岁后,中国预期健康工作平均年数为6.87年;高被引AI论文排行榜出炉:中国大厂不敌谷歌微软 | 环球科学要闻马斯克最新访谈:AI必须追求真实,谷歌和OpenAI都走歪了,未来AI会让所有人都失去工作CVPR 2024 | 加快199倍!清华和哈佛提出LangSplat:3D语义高斯泼溅CVPR 2024 | 双手协作双物体的数据集TACO:引领可泛化手物交互的新方向谷歌万字长文 | 改变你职业生涯的一篇文章:我如何运用人工智能完成工作!建议每人都读一遍CVPR 2024 | CLIP当成RNN!无需训练即可分割无数概念|牛津&谷歌新作CaRCLIP当RNN用入选CVPR:无需训练即可分割无数概念|牛津大学&谷歌研究院Meta首席科学家:不要从事LLM工作;代打卡成产业链,刘强东怒了:业绩不好不拼搏全部淘汰;上千页文档揭谷歌搜索黑幕 | Q资讯CVPR 2024 | 跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式一个时代的终结!在谷歌工作19年被裁!加快410倍!字节豆包新工作TiTok:全新图像Tokenizer!生成图像最低只需32个token
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。