FusionMamba | Kolbey

Computer Vision

发布日期: 2024-05-30

更新日期: 2024-05-30

文章字数: 1.6k

阅读时长: 5 分

阅读次数:

FusionMamba: Dynamic Feature Enhancement for Multimodal Image Fusion with Mamba

资源信息

Paper

Code

全文摘要

本文介绍了一种名为FusionMamba的新型动态特征增强方法，用于多模态图像融合。传统的卷积神经网络模型在捕捉全局图像特征时存在局限性，而基于Transformer的模型则面临着计算复杂度高的问题。因此，作者提出了一个基于高效视觉状态空间模型、动态卷积和通道注意力的改进型Mamba模型，并结合两个动态特征增强模块和一个跨模态融合Mamba模块，实现了对不同模式信息的有效融合。实验结果表明，该模型在多种医疗图像融合任务、红外与可见光图像融合任务以及生物医学图像融合数据集上均取得了最先进的性能，并具有良好的泛化能力。

论文方法

方法描述

该论文提出了一种新的动态特征增强模型（Dynamic Feature Enhancement Model），用于解决多模态图像融合中的挑战和问题。该模型包括三个关键组件：特征提取、特征融合和特征重建。网络架构基于Unet框架，并引入了设计的动态视觉状态空间模块（Dynamic Vision State Space）来有效地提取更深层次的特征。此外，还使用了动态特征增强模块（Dynamic Feature Enhancement Module）和跨模态融合Mamba模块（Cross Modality Fusion Mamba）来进行细粒度的融合和探索不同模态之间的信息相关性。

方法改进

与传统的卷积神经网络（CNNs）和Transformer模型相比，该模型在全局建模方面具有优势，并且具有更高的计算效率。同时，它能够更好地捕捉局部特征和跨模态关系，从而提高融合性能。

解决的问题

该模型解决了当前多模态图像融合中存在的局限性和不足之处，如静态卷积层无法捕捉细微的空间差异和全局上下文信息，Transformer模型在图像大小上的二次复杂度限制了其计算效率等。通过引入动态特征增强模块和跨模态融合Mamba模块，该模型可以更好地探索内部特征和跨模态关系，提高融合性能。

论文实验

本文主要介绍了多模态图像融合的方法——FusionMamba，并通过多个对比实验来验证其有效性。具体来说，本文进行了以下对比实验：

多模态医学图像融合任务的比较实验，包括CT-MRI、PET-MRI和SPECT-MRI三种任务。该实验使用了六个关键指标（SF、SCD、MS-SSIM、QAB/F、FMI和VIF）来评估不同方法的性能。结果表明，FusionMamba在所有任务中都取得了最优的结果，具有更高的结构相似度、增强的对比度和更好的视觉效果。
红外和可见光图像融合任务的比较实验。该实验比较了RFN-Nest、DATFuse、SDNet、U2Fusion、IFT和SwinFusion等方法的性能。结果表明，FusionMamba能够更好地保留场景信息和显著物体的信息，具有更准确的全局上下文感知和动态特征增强能力。
多模态生物医学图像融合任务的比较实验，包括GFP和PC两种类型的图像。该实验比较了FusionGAN、U2Fusion、IFT、SwinFusion等方法的性能。结果表明，FusionMamba能够有效地保留纹理和颜色信息，证明了跨模式融合策略的有效性。
计算效率分析实验，比较了FusionMamba与主流图像融合算法之间的计算复杂度。结果表明，FusionMamba具有更低的浮点运算次数和平均运行时间，展现了较高的运行效率。

此外，本文还进行了结构和损失函数的Ablation实验，以进一步分析网络架构和损失函数对性能的影响。这些实验结果进一步证实了FusionMamba的有效性和优越性。

论文总结

文章优点

该论文提出了一种新的动态特征增强模型——FusionMamba，用于多模态图像融合任务。该模型结合了改进的Mamba框架、动态卷积和通道注意力等技术，增强了全局建模能力和局部特征提取能力，并且有效地提高了纹理、感知差异和跨模态关联性，同时抑制冗余信息。实验结果表明，该方法在各种多模态图像融合任务中表现出色，验证了其通用性和有效性。此外，该论文还介绍了一种动态特征融合模块（DFFM），包括两个动态特征增强模块（DFEM）和一个跨模态融合Mamba模块（CMFM）。该模块能够有效提高细节纹理信息和差异信息的表达能力，促进不同模态之间的信息交互，进一步提升了图像融合的效果。