CVPR 2024 | 面部+肢体动画，一个框架搞定从音频生成数字人表情与动作

国际科技财经移民娱乐民生时事体育

Bendi新闻

7月前

机器之心专栏

机器之心编辑部

AI 数字人面部与肢体的驱动算法作为数字人研发的重要环节，可以大幅度降低 VR Chat、虚拟直播和游戏 NPC 等领域中的驱动成本。

近年来，基于语音生成面部、肢体和手部的动作的各类独立基线模型已经逐渐成熟。然而，直接将不同模型的动画结果混合会导致最终全身整体的动画不协调。研究者逐渐考虑使用统一的框架来同时生成面部表情和肢体动作。

然而，尽管研究社区在面部的表情和肢体的动作上分别存在统一的数据标准，已有的基线模型仅在独立的数据格式上进行训练和评估，比如 FLAME (面部) 和 AMASS (肢体)。社区仍然缺少面向全身的，格式统一的训练数据和基线模型。

针对此问题，东京大学，清华大学，德国马普所的研究者联合提出了 EMAGE，一个从音频和动作的掩码中生成人体全身动作的框架，包括面部、局部肢体、手部和全局运动。

论文地址：https://arxiv.org/abs/2401.00374
项目主页：https://pantomatrix.github.io/EMAGE/
视频结果：https://www.youtube.com/watch?v=T0OYPvViFGE
hugging face space 链接：https://huggingface.co/spaces/H-Liu1997/EMAGE

EMAGE 研究论文包含 BEAT2 与 EMAGE 两部分。用户可以自定义动作的输入，在接受预定义的时序与空间的动作输入方面具有灵活性，最终可生成完整的、与音频相同步的结果，EMAGE 输出全身动作的效果属于业界 SOTA。

BEAT2: 即 BEAT-SMPLX-FLAME，是语音与基于网格的动作数据的全身数据集，共有 60 小时的数据。BEAT2 将 SMPLX 的肢体与 FLAME 的面部参数相结合，并进一步解决了头部、颈部和手指等运动的模型问题，为研究社区提供了一个标准化且高质量的 3D 动捕数据集。

左：将精调后的 SMPLX 肢体参数结果（Refined Moshed）与 BEAT 的原始骨架数据（BEAT）、使用 AutoRegPro 的重定向数据（Retargeted）以及 Mosh++ 的初始结果（Moshed）进行比较，精调的结果拥有正确的颈部弯曲、适当的头颈形状比例和详细的手指弯曲。

右：将原始 BEAT 中的混合表情权重可视化，与 ARKit 的基础脸部模板（BEAT）、基于线性 Wrapped 的方法（Wrapped Optimum）以及人工 PCA 映射 FACs 的表情优化（Handcraft Optimum）进行比较。最终的人工映射优化基于 FLAME 混合表情，实现了准确的唇动细节和自然对话时的口型。

EMAGE：在训练过程中利用了肢体动作掩码的先验知识来提高推理性能。EMAGE 使用了一个音频与动作掩码的转换器，有效提高了音频生成动作和动作掩码下的动作重建的联合训练的效率，从而有效地将音频和肢体动作的提示帧编码进网络。动作掩码的肢体提示帧分别被用于生成面部和肢体动作。此外，EMAGE 自适应地合并了音频的节奏和内容的语音特征，并利用身体各个部位 (共计四种) 的组合式 VQ- VAEs 来增强结果的真实性和多样性。

下图给出了 EMAGE 生成肢体动画的例子：

从上到下依次为：真实数据、不使用肢体提示帧生成的数据、使用肢体提示帧生成的数据、肢体提示帧的可视化：

EMAGE 可以生成多样化、具有语义和与音频同步的肢体动作，例如，对于 “spare time” 这个提示词，可以同时举起双手，而对于 “hike in nature” 则可以采取放松的动作。

此外，如第三行和第四行所示，EMAGE 可以灵活地接受非音频同步的肢体提示帧，基于任意帧或关节，以此明确引导生成的动作。例如，重复类似的动作比如举起双手，或是改变行走方向等。注：此图中，第三列的生成结果的关节提示（灰色网格），与第四行的肢体提示帧的关节（绿色网格）并不一致。

下图是 EMAGE 生成面部动画的结果：

EMAGE 生成的面部运动与基线模型的对比。

分别是脸部单独生成的方法如 faceformer 与 codetalker、全身整体动作生成方法如 Habibie et al. 和 Talkshow。在 BEAT2 数据集中，因为 codetalker 具有离散的面部先验知识，所以即使 codetalker 的 MSE（均方误差）更高，即更偏离真实数据，但主观结果更好。而 EMAGE 则利用离散的面部先验知识和动作掩码的肢体提示帧，实现了更精准的唇动性能。

模型介绍