ICML 2024 | 川大发布用于开集图像复原的测试时退化适应框架
论文标题:
Test-Time Degradation Adaptation for Open-Set Image Restoration
ICML 2024, Spotlight
https://openreview.net/pdf/cbe8a535cb6ad39d7f4315b6eaedd1bcc36a0a4d.pdf
https://github.com/XLearning-SCU/2024-ICML-TAO
背景
▲ 图1. 不同图像复原任务之间的区别。(a)经典任务[1]主要面向一种封闭场景,即训练和测试的图像退化是相同且已知的,需要为每种退化定制一个专门的模型;(b)多合一任务 [2] 也面向一种封闭场景,即训练和测试的退化集合是相同的,但需要通过单个模型解决集合中包含的多种未知退化;(c)零样本任务专注于从单张退化图像中直接进行复原 [3],但通常是面向特定退化进行设计,并利用特定的先验知识进行辅助;而本文提出的(d)开集任务主要面向开放场景,其中测试退化是未知的并与训练时的退化不同,需要通过单个模型去解决多种未知且训练时未见过的图像退化。
▲ 表1. 在 HSTS 数据集上的图像去雾结果。我们的方法优于零样本方法,并获得了与经典有监督学习方法相当甚至更好的结果。比较的所有方法都是专门为图像去雾设计的。
▲ 表2. 在 LOL 数据集上低光照图像增强结果。我们的方法在零样本方法中获得了最佳的 SSIM 值和第二好的 PSNR 值,并只有监督学习的 MBLLEN 在这两个指标上能同时优于我们的方法。
▲ 图3. 图像去雾的视觉结果,从中可以观察到现有方法过度去雾导致图像变暗和/或产生伪影。相比之下,我们的方法获得了更清晰、更接近自然真实的结果。
▲ 图4. 低光照图像增强的结果,从中可以看到我们的结果既不像 MBLLEN 那样平滑,也不像 ZDCE 那样暗淡。尽管存在轻微的色差,我们的方法实现了对低光照图像的合理照明。
参考文献
[1] Yuanbiao Gou, Boyun Li, Zitao Liu, Songfan Yang, and Xi Peng*, CLEARER: Multi-Scale Neural Architecture Search for Image Restoration, Neural Information Processing Systems (NeurIPS), 2020.
[2] Boyun Li, Xiao Liu, Peng Hu, Zhongqin Wu, Jiancheng Lv, Xi Peng*, All-In-One Image Restoration for Unknown Corruption, IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA. Jun. 19-25, 2022.
[3] Boyun Li#, Yuanbiao Gou#, Shuhang Gu, Jerry Zitao Liu, Joey Tianyi Zhou, and Xi Peng*, You Only Look Yourself: Unsupervised and Untrained Single Image Dehazing Neural Network, International Journal of Computer Vision (IJCV), 2021.
[4] Wang, D., et al. Tent: Fully test-time adaptation by entropy minimization. In Proceedings of the International Conference on Learning Representations, 2021.
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
微信扫码关注该文公众号作者