Bendi新闻
>
CVPR 2024 | 基于MoE的通用图像融合模型,添加2.8%参数完成多项任务
CVPR 2024 | 基于MoE的通用图像融合模型,添加2.8%参数完成多项任务
7月前
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]。
论文链接:https://arxiv.org/abs/2403.12494 代码链接:https://github.com/YangSun22/TC-MoA 论文题目:Task-Customized Mixture of Adapters for General Image Fusion
我们提出了一个统一的通用图像融合模型,提供了一种新的任务定制混合适配器(TC-MoA)用于自适应多源图像融合(受益于动态聚合各自模式的有效信息)。 我们为适配器提出了一种互信息正则化方法,这使得我们的模型能够更准确地识别不同源图像的主导强度。 据我们所知,我们首次提出了一种基于 MoE 的灵活适配器。通过只添加 2.8% 的可学习参数,我们的模型可以处理许多融合任务。大量的实验证明了我们的竞争方法的优势,同时显示了显著的可控性和泛化性。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:[email protected]
微信扫码关注该文公众号作者
来源:机器之心
相关新闻
CVPR 2024 | E2STR:基于多模态上下文学习构建的自进化文本识别模型CVPR 2024 | 与任务无关的多模态数据也能提升Transformer性能!港中文&腾讯新作ISSTA 2024 | 北大提出CoderUJB,面向代码大模型的可执行多任务代码评估基准揭示真实能力与局限MICCAI 2024 | 港科大提出ViP:利用LLM的通用知识对齐医学图像分析任务顶刊TPAMI 2024!多模态图像修复与融合新突破!DeepM2CDL:多种任务实现SOTA性能CVPR 2024 | 港理工联合OPPO提出统一且通用的视频分割大模型CVPR 2024 | 通用视觉新突破!UC伯克利提出首个无自然语言的纯视觉大模型CVPR 2024 | 字节提出视觉基础模型:ViTamin,实现多项SOTA!CVPR 2024 | 和马赛克说拜拜!华为、清华等提出基于认知的万物超分大模型字节发布视觉基础模型ViTamin,多项任务实现SOTA,入选CVPR2024CVPR 2024|让图像扩散模型生成高质量360度场景,只需要一个语言模型CVPR 2024 | 多模态合作学习的新视角:样本级模态的评估与协同大模型时代的计算机视觉!CVPR 2024线上分享会全日程公布大模型时代的计算机视觉!CVPR 2024线上论文分享会启动CVPR‘24:与任务无关的多模态数据也能提升Transformer性能|港中文&腾讯ICLR 2024 | OCTAVIUS: 通过MoE缓解MLLM任务间的干扰AAAI 2024 Oral|打破边界!利用CLIP的多任务多模态视频行为识别方法CVPR 2024 | 无参数无训练也能大幅涨点!港城大等提出全新小样本3D分割模型CVPR 2024|生成不了光线极强的图片?微信视觉团队有效解决扩散模型奇点问题CVPR 2024 | MotionEditor:首个面向动作编辑的视频扩散模型ICLR 2024 | 媲美DALLE-3!基座模型LaVIT刷榜多模态理解与生成任务CVPR 2024 | DeiT全新升级!DeiT-LT:针对长尾数据的改进模型CVPR 2024 | 北大&电子科大提出RCBEVDet:毫米波雷达-相机多模态的感知架构CVPR 2024 | 通过细粒度人类反馈对齐数据,提高多模态大模型可信度