SIGGRAPH2024｜上科大、影眸联合提出DressCode：从文本生成3D服装板片

5月前

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]

3D生成是生成式人工智能和计算机图形学领域最引人注目的话题之一，符合影视、游戏标准的3D生成尤其受产业界关注。在生产流程中，一般品类的3D资产往往通过手工建模或者扫描的方式制作。但作为3D资产的一个重要类别，服装资产的往往来源于平面板片与物理模拟等流程，而不是直接在3D上建模。

上海科技大学、影眸科技与宾夕法尼亚大学联合提出DressCode，它是首个完全支持 CG 操作，能够兼容到工业流程的 3D 服装生成框架，并通过文本的引导，实现自动生成具有高质量渲染效果、可编辑、可驱动、可仿真的 3D 服装。

Dresscode已经被计算机图形领域国际顶级期刊 Transactions on Graphics 接收，并将在国际计算机图形顶级会议 SIGGRAPH 2024 上展示。

项目链接：https://sites.google.com/view/projectpage-dresscode
论文链接：https://arxiv.org/abs/2401.16465

引言

服装在人类外观中扮演着重要角色，这突显了服装数字化对于数字人创造的重要性。近期在 3D 内容创造领域的巨大进展对于数字人的创造至关重要。

然而，对于服装生成的工作仍有空缺，由于通用生成方法生成的网格或神经场与实际数字服装生产流程不兼容，使这类方法直接应用于服装类别并未能达到很好的效果。

为了解决这些问题，来自影眸科技与上海科技大学的研发团队提出了一个文本驱动的 3D 服装生成框架——DressCode，旨在为初学者设计数字服装简单化，并在时尚设计、虚拟试穿和数字人创造提供巨大潜力。

该框架可以通过自然语言交互生成对 CG 流程友好的服装模型，并且还便于版片补全和纹理编辑，通过用户友好的交互简化了设计过程。本文将对 DressCode 的主要功能进行详细介绍，并探讨其在实际设计场景中的应用前景。

SewingGPT 框架概述

对于版片生成模块，该论文提出了 SewingGPT，这是一个基于 GPT 的自回归模型，用于通过文本提示生缝纫版片。其首先将缝纫版片参数转换为一系列量化的token，训练了一个 Decoder-only Transformer。并通过在Transformer中融合使用文本提示词的交叉关注力，来达到用文本来引导生成结果。

训练完成后，该模型可以根据用户条件自回归地生成token序列，并将生成的序列经过反向量化来得到生成的缝纫版片参数。

DressCode 框架概述

借助 SewingGPT，该框架能够直接从文本提示中生成多样化的缝纫版片。由于材质贴图在 CG 流程中非常关键，该框架为这些版片生成相应的基于物理的纹理，更紧密地与服装设计工作流程相契合。

作者们提出的DressCode框架，通过利用 SewingGPT 和 PBR 纹理生成器来生成3D服装的几何部分与纹理部分，并且进一步利用大型语言模型通过自然语言交互为用户创建定制服装。

在实现通过文本提示生成缝纫版片和纹理之后，为了在实际场景中使设计师能够使用自然语言与生成器交互，而不是依赖于数据集格式的提示，作者们采用 GPT-4 进行内容学习，以解释用户的自然语言输入，生成几何提示词和纹理提示词。

这些提示词输入到 SewingGPT 和 PBR 纹理生成器后，得到生成的缝纫版片与纹理，并经过仿真、渲染得到最终的结果。同时，生成的服装以及 PBR 纹理可以被无缝整合到工业软件中，可以与人体模型进行动画驱动，并在各种照明下进行渲染，确保生动、逼真的效果。

版片补全能力

得益于自回归模型，SewingGPT可以通过利用模型提供的概率预测，在接收到部分版片信息后补全整个缝纫版片。此外，输入一个文本提示可以指导模型补全缝纫版片。如给定一个袖子后，该模型能够根据不同的提示补全完成各种缝纫版片。这使得用户能够手动设计部分版片，利用 SewingGPT 进行灵感激发并基于文本提示来补全服装。