CVPR 2024 | 南洋理工提出动态人体渲染新范式，高度还原跳舞时飞扬的裙摆

在日常活动中，人的运动经常引起衣服的附属运动 (secondary motion of clothes) 并因此产生不同的衣服褶皱，而这需要对人体及衣服的几何、运动（人体姿态及速度动力学等）及外观同时进行动态建模。由于此过程涉及复杂的人与衣服的非刚体物理交互，导致传统三维表征往往难以应对。

近年从视频序列中学习动态数字人渲染已取得了极大的进展，现有方法往往把渲染视为从人体姿态到图像的神经映射，采用 「运动编码器—运动特征—外观解码器」的范式。而该范式基于图像损失做监督，过于关注每一帧图像重建而缺少对运动连续性的建模，因此对复杂运动如 「人体运动及衣服附属运动」难以有效建模。

为解决这一问题，来自新加坡南洋理工大学 S-Lab 团队提出运动—外观联合学习的动态人体重建新范式，并提出了基于人体表面的三平面运动表征 (surface-based triplane)，把运动物理建模和外观建模统一在一个框架中，为提升动态人体渲染质量开辟了新的思路。该新范式可有效对衣服附属运动建模，并可用于从快速运动的视频（如跳舞）中学习动态人体重建，以及渲染运动相关的阴影。在渲染效率上比三维体素渲染方法快 9 倍，LPIPS 图像质量提高约 19 个百分点。

论文题目：

论文地址：

项目主页：

代码链接：

针对已有范式「运动编码器—运动特征—外观解码器」只关注于外观重建而忽略运动连续性建模的缺点，提出了新范式 SurMo ：「①运动编码器—运动特征——②运动解码器、③外观解码器」。如上图所示，该范式分为三个阶段：

• 区别于已有方法在稀疏三维空间对运动建模，SurMo 提出基于人体表面流形场（或紧凑的二维纹理 UV 空间）的四维（XYZ-T）运动建模，并通过定义在人体表面的三平面（surface-based triplane）来表征运动。

• 提出运动物理解码器去根据当前运动特征（如三维姿态、速度、运动轨迹等）预测下一帧运动状态，如运动的空间偏导—表面法向量和时间偏导—速度，以此对运动特征做连续性建模。

• 四维外观解码，对运动特征在时序上解码以此渲染三维自由视点视频，主要通过混合体素—纹理神经渲染方式实现 (Hybrid Volumetric-Textural Rendering, HVTR [Hu et al. 2022]).

渲染运动相关的阴影及衣服附属运动

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[email protected] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧