CVPR 2024 中科院等提出：实时人像视频三维感知重光照方法

国际科技财经移民娱乐民生时事体育

Bendi新闻

5月前

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达
点击进入—>【Mamba/多模态/扩散】交流群

添加微信：CVer5555，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

转载自：智能图形计算专委会

人像视频重光照是计算机图形学和计算机视觉领域中极具应用价值的研究方向。这项技术需要精确建模光线、人脸几何和材质之间的复杂交互作用，并确保合成视频的时间连贯性。为了提供更大的编辑自由度，并在增强现实和虚拟现实等领域得到应用（例如创建能够根据环境调整光照的三维人像），需要对人像视频进行三维感知的重光照，也就是将二维人脸信息提升到三维可重光照的表示形式，以便在不同的观察角度和光线条件下重新渲染人像视频。实时处理的需求进一步增加了这一挑战的难度。针对这一难题，最新的CVPR 2024论文《Real-time 3D-aware Portrait Video Relighting》（Highlight）首次提出了一种实时人像视频三维感知重光照的方法 [1]。该方法能够在新视角和新光照条件下实时合成逼真的三维人像，在消费级硬件上实现32.98 FPS的处理速度，并在重建质量、光照误差、光照稳定性、时间一致性和推理速度等方面达到了当前最先进的水平。图1展示了该方法对人像视频进行视角调整和光照调整的效果。项目主页：

http://www.geometrylearning.com/VideoRelighting/

图 1 对人像视频实时调整观看角度和光照条件

Part 1 研究目标

在数字化快速发展的背景下，人像视频已经成为社会交流与信息传播中不可或缺的重要工具。从社交媒体的自拍视频到专业的影视制作，再到线上会议和教育培训，人像视频在各种场景下都发挥着日益重要的作用。光线作为摄影和视频制作的核心元素之一，不仅关系到图像的明暗，还直接影响作品的风格和氛围的营造。然而在现实中，由于拍摄条件和技术限制，常常出现光线过暗或过亮，或者光照与预期效果不符的情况。例如，在线会议中常见的问题是虚拟背景与前景光照不一致，这不仅影响了视频的视觉效果，也降低了沟通的沉浸感。

另一方面，用户对于视频质量的期待也在不断提高。特别是在增强现实（AR）和虚拟现实（VR）技术的应用中，人们不仅希望看到光照协调、具有三维立体感的人像视频，更期望这些视频能够实时处理，以实现沉浸式体验。为了达到这种体验，不仅需要在光照调整方面做到动态和自然，还要求进行实时的三维重建和渲染，以产生流畅、逼真的三维视觉效果。实时人像视频三维感知重光照不仅是当下研究前沿方向，同时也具有较高的实用价值。

图 2 输入输出示意图

该文章提出了一种基于神经辐射场 [2]的人像视频实时三维感知重光照方法，如图2所示，第一列展示了一段人像视频作为该方法的输入，第二列和第三列展示了新视角和新光照条件下渲染的人像，第四列展示了所预测的反照率与三维几何结构。

Part 2 研究方法

图 3 网络框架图

该研究主要由三个部分组成：基于视觉转换器（Vision Transformer） [3]和卷积神经网络（CNN）的三平面双编码器，基于交叉注意力的三平面时序一致性网络，以及神经渲染模块。整体框架如图3所示。

三平面双编码器

如图3所示，三平面双编码器主要由两个关键分支构成：几何材质编码器EA和光影编码器ES。几何材质编码器EA的输入为一帧人像图片，输出为几何材质三平面TA，主要建模人像的几何与反照率信息；光影编码器ES输入为几何材质三平面TA与二阶球谐光照条件L，输出为光影三平面TS，主要建模人像的光影效果。这种设计确保了几何材质三平面TA与光影三平面TS在空间层面对齐，从而实现高度逼真的重建和重光照效果。

时序一致性网络

为了解决视频数据直接对每一帧进行编辑产生的闪烁等时序不一致问题，提出了基于自注意力和交叉注意力的时序一致性网络，这种设计允许网络利用更丰富的信息来优化时间一致性。该网络能够根据当前和历史帧共n帧对应的几何材质三平面和光影三平面，智能地预测出时序残差三平面以叠加到当前帧的几何材质三平面和光影三平面，在三平面特征层面提升时序一致性，从而保证平滑自然的视频输出。

神经渲染模块

为了从三平面渲染出真实的人像图片，该文章采用了类似EG3D [4]的神经渲染技术。该技术从相机发射采样光线，每条光线采样96个采样点。每个采样点投影到三平面上以获取特征信息，这些特征信息经过轻量化解码器，得到采样点对应的颜色、不透明度和阴影信息。最后，根据体渲染公式计算可以得到对应像素的最终颜色。图像初始神经渲染分辨率设置为64*64像素，然后通过超分辨率模块将其扩展为512*512像素的高分辨率图像，为了解决超分辨率模块输入信息不足的问题，与现有方法不同，该文章选择不对生成式模型进行微调，而是引入了额外的网络，这种选择不仅节省模型微调时间，且避免了微调过程中潜在的模型退化风险。

训练策略

该模型使用合成数据进行训练，并展现出对真实数据的良好泛化能力。合成数据由预训练的生成式网络 [5]在不同视角与光照条件下生成。针对三平面双编码器模型，采用了分阶段的训练策略。初始阶段主要聚焦于编码器的训练，冻结了解码器网络。首先分别训练几何材质编码器EA与光影编码器ES，之后同时训练两个编码器。接下来解决了几何材质解码器、光影解码器以及超分辨率模块，使其与三平面双编码器同步训练以达到更优效果。三平面双编码器训练结束后，启动对时序一致性网络的训练，通过在不同条件之间插值以及添加随机噪声扰动以合成训练数据。

Part 3 实验效果

为检验所提出的方法的有效性，该方法在公开的INSTA视频数据集 [6]和FFHQ图像数据集 [7]上进行实验，并在重建和重光照两方面和现有方法进行了对比。

图4展示了新视角视频重光照对比结果，与基于EG3D [4]，PTI [8]，DPR [9]，SMFR [10]等技术构建的三维感知人像视频重光照基线方法进行对比，具有更强的真实感。

图 4 新视角视频重光照对比

图5展示了输入视角视频重光照对比结果，与现有方法SMFR [10]，DPR [9]，ReliTalk [11]等进行对比，图中第一行列示了输入的视频帧，第二列是参考光照，后续各列展示了对应光照下的重光照效果，在五种方法中，该文章的方法最忠实地保留了参考图像的光照条件。

图 5 输入视角视频重光照对比

图6展示了输入视角图片重光照对比结果，与现有方法Lumos [12]，Total Relighting [13]，NVPR [14]，SIPR-W [15]，DPR [9]，SMFR [10]等进行对比，第一列展示了输入图像，第二列是用于展示环境光照的渲染球体，其余列展示重光照结果。该文章的方法产生的结果比其他方法更加真实和一致。

图 6 输入视角图片重光照对比

图7展示了更多视频重光照结果，其中第一列是参考光照，其余各列是重光照结果。

图 7 更多结果展示

图8展示了实时交互系统，单目摄像头采集用户视频，用户可以实时调整自己的光照和视角。

图 8 实时系统展示

Part 4 总结与展望

该文章介绍了一种实时人像视频的三维重建和重光照方法，能够重建逼真的三维人像，并可以在新视角和新光照下重新渲染时间一致的人像视频。在大量数据上的评估证明了其三维重建质量、光照准确性、光照稳定性、时序一致性和运行效率等方面优于现有方法。未来探索的方向是将其扩展到多人面部重光照、部分遮挡问题及全身的重光照问题等，以在现实世界应用中提供更广泛的实用性。

参考文献

[1] Ziqi Cai, Kaiwen Jiang, Shu-Yu Chen, Yu-Kun Lai, Hongbo Fu, Boxin Shi, Lin Gao. Real-time 3D-aware Portrait Video Relighting. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024.

[2] Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. In Communications of the ACM, 2021.

[3] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth 16x16 words: Transformers for image recognition at scale. In International Conference on Learning Representations, 2021.

[4] Eric R. Chan, Connor Z. Lin, Matthew A. Chan, Koki Nagano, Boxiao Pan, Shalini de Mello, Orazio Gallo, Leonidas Guibas, Jonathan Tremblay, Sameh Khamis, Tero Karras, and Gordon Wetzstei. Efficient Geometry-aware 3D Generative Adversarial Networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024.

[5] Kaiwen Jiang, Shu-Yu Chen, Hongbo Fu, and Lin Gao. NeRFFaceLighting: Implicit and disentangled face lighting representation leveraging generative prior in neural radiance fields. In ACM Transactions on Graphics, 2023.

[6] Wojciech Zielonka, Timo Bolkart, and Justus Thies. Instant volumetric head avatars. In IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023.

[7] Tero Karras, Samuli Laine, and Timo Aila. A style-based generator architecture for generative adversarial networks. In IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019.

[8] Daniel Roich, Ron Mokady, Amit H Bermano, and Daniel Cohen-Or. Pivotal tuning for latent-based editing of real images. ACM Transactions on Graphics, 42(1):1–13, 2022.

[9] Hao Zhou, Sunil Hadap, Kalyan Sunkavalli, and David W. Jacobs. Deep single portrait image relighting. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019.

[10] Andrew Hou, Ze Zhang, Michel Sarkis, Ning Bi, Yiying Tong, and Xiaoming Liu. Towards high fidelity face relighting with realistic shadows. In IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021.

[11] Haonan Qiu, Zhaoxi Chen, Yuming Jiang, Hang Zhou, Xiangyu Fan, Lei Yang, Wayne Wu, and Ziwei Liu. ReliTalk: Relightable talking portrait generation from a single video. In International Journal of Computer Vision, 2024.

[12] Yu-Ying Yeh, Koki Nagano, Sameh Khamis, Jan Kautz, Ming-Yu Liu, and Ting-Chun Wang. Learning to relight portrait images via a virtual light stage and synthetic-to-real adaptation. In ACM Transactions on Graphics, 2022.

[13] Rohit Pandey, Sergio Orts Escolano, Chloe Legendre, Christian Haene, Sofien Bouaziz, Christoph Rhemann, Paul De-bevec, and Sean Fanello. Total Relighting: Learning to relight portraits for background replacement. In ACM Transactions on Graphics, 2021.

[14] Longwen Zhang, Qixuan Zhang, Minye Wu, Jingyi Yu, and Lan Xu. Neural video portrait relighting in real-time via consistency modeling. In International Conference on Computer Vision, 2021.

[15] Zhibo Wang, Xin Yu, Ming Lu, Quan Wang, Chen Qian, and Feng Xu. Single image portrait relighting via explicit multiple reflectance channel modeling. In ACM Transactions on Graphics, 2020.

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立

扫描下方二维码，或者添加微信：CVer5555，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。

一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群


▲扫码或加微信号: CVer5555，进交流群

CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看

微信扫码关注该文公众号作者

来源：CVer

CVPR 2024 中科院等提出：实时人像视频三维感知重光照方法

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群

添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

何恺明在MIT授课的课件PPT下载

CVPR 2024 论文和代码下载

相关新闻

AI/CV重磅干货，第一时间送达
点击进入—>【Mamba/多模态/扩散】交流群

添加微信：CVer5555，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！