Mamba再下一城！RSMamba：遥感图像分类性能SOTA！

遥感图像分类是各种遥感理解任务的基础，卷积神经网络（CNNs）和Transformers的最新进展显著提高了分类精度。然而，遥感场景分类仍然是一个重大挑战，特别是考虑到遥感场景的复杂性和多样性以及时空分辨率的可变性。全图像的理解能力可以为场景区分提供更精确的语义线索。本文介绍了RSMamba，这是一种新颖的遥感图像分类架构。RSMamba基于状态空间模型（SSM），并采用高效、硬件感知设计的Mamba实现，它整合了全局感受野和线性复杂度建模的优点。为了缓解原始Mamba只能建模因果序列，不能适应二维图像数据的缺点，文中提出了一种动态多路径激活机制来增强Mamba处理非因果数据的能力。值得注意的是，RSMamba保持了原始Mamba的内在建模机制，但仍在多个遥感图像分类数据集上表现出优越的性能。

离散化：

RSMamba并未像ViT那样使用[CLS]标记来聚合全局表示。相反，该一维序列被输入到多个动态多路径激活的Mamba块中，用于建模长距离依赖关系。随后，通过对序列平均池化得到类别预测所需的密集特征。这个过程可以迭代地描述如下，

原始的Mamba用于对1-D序列进行因果建模，为了增强其对2-D数据的处理能力，引入了一个动态多路径激活机制。重要的是，这种机制为了保留原始Mamba块的结构，仅在块的输入和输出上操作。具体来说，复制了三份输入序列，建立了三个不同的路径，即前向路径、反向路径和随机路径，并利用一个参数共享的普通Mamba混合器分别对这三个序列中的标记之间的依赖关系进行建模。随后，我们将序列中的所有标记恢复到正确的顺序，并使用一个线性层来压缩序列信息，从而建立了三个路径的门控。然后，这个门被用来激活三种不同信息流的表示，如上图所示。第i个块的过程如下所述，

为了评估所提出方法的效果，在三个不同的遥感数据集上进行了广泛的实验：UC Merced土地利用数据集（UC Merced），AID，和NWPU-RESISC45数据集（RESISC45）。每个数据集都包含不同的地物类别和图像数量。

本文引入了一种新的状态空间模型用于遥感图像分类，称为RSMamba。RSMamba同时利用了CNN和Transformer的优点，特别是它们的线性复杂性和全局感受野。RSMamba引入了一个动态多路径激活机制，以减轻原始Mamba中固有的单向建模和位置不敏感的限制。RSMamba保持了Mamba的内部结构，并提供了灵活性，可以轻松扩展参数以适应各种应用场景。在三个不同的遥感图像分类数据集上进行的实验评估表明，RSMamba可以超越基于CNN和Transformer的其他最先进的分类方法，具有作为下一代视觉基础模型的主干网络的巨大潜力。

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

扫描下方二维码，或者添加微信：CVer5555，即可添加CVer小助手微信，便可申请加入CVer-Mamba和遥感微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。

一定要备注：研究方向+地点+学校/公司+昵称（如Mamba或者遥感+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群