Sagiri：基于Stable Diffusion的统一LDR图像增强方案

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba/多模态/扩散】交流群

添加微信：CVer5555，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

问题背景：

本文方法通过直接学习使用生成扩散先验从单个 LDR 图像生成最终输出，这包括 (1) 颜色映射、(2) 为饱和/黑色区域生成合理的内容、(3) 增强低位深度区域的细节、(4) 暗区去噪。

方法

亮度调节和色彩平衡方案：LatentSwinIRc

训练开始，图片会先被映射到潜在空间并送入SwinIR，在经过网络处理后再映射回RGB空间。为了更好的完成亮度调节和色彩平衡任务，本文重新设计了Color Reconstruction Loss。

饱和/黑暗区域内容生成方案：Sagiri

经过前一阶段的处理后的图片会先送入 VAE Encoder 来将模型映射到潜在空间，将高斯噪声加噪后的经过T步的去噪预测，并通过 VAE Decoder 来将图像映射回RGB空间。同时，为了适应不同图片的场景需求和用户的不同偏好，本文重新设计了采样策略，通过在潜在空间中使用选择区域掩码策略，来实现给定区域生成。为了更好的完成饱和/黑暗区域内容生成任务，本文重新设计了Content Reconstruction Loss。

训练策略：

实验结果

量化结果

除了直接将其他方法和本文提出的方法比较外，本文将Sagiri直接插入其它模型（不进行重新训练）中来进行进一步的恢复失败区域内容生成，发现其在无监督指标上均取得显著提升。

可视化结果：

将Sagiri插入其它模型上的可视化效果：

通过给定区域和不同的文本提示来生成个性化定制内容：

消融实验：

不使用LatentSwinIRc，直接训练Sagiri来执行两阶段任务：

对Sagiri的消融实验：

LatentSwinIRc Loss消融实验：

结语：

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立

扫描下方二维码，或者添加微信：CVer5555，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。

一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer5555，进交流群

CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看