Bendi新闻
>
Stable Video 3D重磅开源!3D生成迎来新突破!

Stable Video 3D重磅开源!3D生成迎来新突破!

8月前

点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

点击进入—>【扩散模型和多模态】交流群

添加微信:CVer444,小助手会拉你进群!

扫描下方二维码,加入CVer学术星球可以获得最新顶会/顶刊上的论文ideaCV从入门到精通资料,及最前沿应用!发论文/搞科研/涨薪,强烈推荐!

转载自:机器之心 | 编辑:杜伟

3D 生成领域迎来新的「SOTA 级选手」,支持商用和非商用。


Stability AI 的大模型家族来了一位新成员。

昨日,Stability AI 继推出文生图 Stable Diffusion、文生视频 Stable Video Diffusion 之后,又为社区带来了 3D 视频生成大模型「Stable Video 3D」(简称 SV3D)。

该模型基于 Stable Video Diffusion 打造,能够显著提升 3D 生成的质量和多视角一致性,效果要优于之前 Stability AI 推出的 Stable Zero123 以及丰田研究院和哥伦比亚大学联合开源的 Zero123-XL。

目前,Stable Video 3D 既支持商用,需要加入 Stability AI 会员(Membership);也支持非商用,用户在 Hugging Face 上下载模型权重即可。


Stable Video 3D 的生成效果如下视频所示。
Stability AI 提供了两个模型变体,分别是 SV3D_u 和 SV3D_p。其中 SV3D_u 基于单个图像输入生成轨道视频,不需要相机调整;SV3D_p 通过适配单个图像和轨道视角扩展了生成能力,允许沿着指定的相机路径创建 3D 视频。

目前,Stable Video 3D 的研究论文已经放出,核心作者有三位。


  • 论文地址:https://stability.ai/s/SV3D_report.pdf
  • 博客地址:https://stability.ai/news/introducing-stable-video-3d
  • Huggingface 地址:https://huggingface.co/stabilityai/sv3d

技术概览

Stable Video 3D 在 3D 生成领域实现重大进步,尤其是在新颖视图生成(novel view synthesis,NVS)方面。

以往的方法通常倾向于解决有限视角和输入不一致的问题,而 Stable Video 3D 能够从任何给定角度提供连贯视图,并能够很好地泛化。因此,该模型不仅增加了姿势可控性,还能确保多个视图中对象外观的一致性,进一步改进了影响真实和准确 3D 生成的关键问题。

如下图所示,与 Stable Zero123、Zero-XL 相比,Stable Video 3D 能够生成细节更强、更忠实于输入图像和多视角更一致的新颖多视图。


此外,Stable Video 3D 利用其多视角一致性来优化 3D 神经辐射场(Neural Radiance Fields,NeRF),以提高直接从新视图生成 3D 网格的质量。

为此,Stability AI 设计了掩码分数蒸馏采样损失,进一步增强了预测视图中未见过区域的 3D 质量。同时为了减轻烘焙照明问题,Stable Video 3D 采用了与 3D 形状和纹理共同优化的解耦照明模型。

下图为使用 Stable Video 3D 模型及其输出时,通过 3D 优化改进后的 3D 网格生成示例。

下图为使用 Stable Video 3D 生成的 3D 网格结果与 EscherNet、Stable Zero123 的生成结果比较。

架构细节

Stable Video 3D 模型的架构如下图 2 所示,它基于 Stable Video Diffusion 架构构建而成,包含一个具有多个层的 UNet,其中每一层又包含一个带有 Conv3D 层的残差块序列,以及两个带有注意力层(空间和时间)的 transformer 块。


具体流程如下所示:

(i) 删除「fps id」和「motion bucket id」的矢量条件, 原因是它们与 Stable Video 3D 无关;
(ii) 条件图像通过 Stable Video Diffusion 的 VAE 编码器嵌入到潜在空间,然后在通向 UNet 的噪声时间步 t 处连接到噪声潜在状态输入 zt;
(iii) 条件图像的 CLIPembedding 矩阵被提供给每个 transformer 块的交叉注意力层来充当键和值,而查询成为相应层的特征;
(iv) 相机轨迹沿着扩散噪声时间步被馈入到残差块中。相机姿势角度 ei 和 ai 以及噪声时间步 t 首先被嵌入到正弦位置嵌入中,然后将相机姿势嵌入连接在一起进行线性变换并添加到噪声时间步嵌入中,最后被馈入到每个残差块并被添加到该块的输入特征中。

此外,Stability AI 设计了静态轨道和动态轨道来研究相机姿势调整的影响,具体如下图 3 所示。


在静态轨道上,相机采用与条件图像相同的仰角,以等距方位角围绕对象旋转。这样做的缺点是基于调整的仰角,可能无法获得关于对象顶部或底部的任何信息。而在动态轨道上,方位角可以不等距,每个视图的仰角也可以不同。

为了构建动态轨道,Stability AI 对静态轨道采样,向方位角添加小的随机噪声,并向其仰角添加不同频率的正弦曲线的随机加权组合。这样做提供了时间平滑性,并确保相机轨迹沿着与条件图像相同的方位角和仰角循环结束。

实验结果

Stability AI 在未见过的 GSO 和 OmniObject3D 数据集上,评估了静态和动态轨道上的 Stable Video 3D 合成多视图效果。结果如下表 1 至表 4 所示,Stable Video 3D 在新颖多视图合成方面实现了 SOTA 效果。

表 1 和表 3 显示了 Stable Video 3D 与其他模型在静态轨道的结果,表明了即使是无姿势调整的模型 SV3D_u,也比所有先前的方法表现得更好。

消融分析结果表明,SV3D_c 和 SV3D_p 在静态轨道的生成方面优于 SV3D_u,尽管后者专门在静态轨道上进行了训练。



下表 2 和表 4 展示了动态轨道的生成结果,包括姿势调整模型 SV3D_c 和 SV3D_p,后者在所有指标上实现了 SOTA。


下图 6 中的视觉比较结果进一步表明,与以往工作相比,Stable Video 3D 生成的图像细节更强、更忠实于条件图像、多视角更加一致。


更多技术细节和实验结果请参阅原论文。

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复:何恺明,即可下载本课程的300+页课件PPT!赶紧学起来!

CVPR 2024 论文和代码下载

在CVer公众号后台回复:CVPR2024,即可下载CVPR 2024论文和代码开源的论文合集


多模态和扩散模型交流群成立

扫描下方二维码,或者添加微信:CVer444,即可添加CVer小助手微信,便可申请加入CVer-多模态和扩散模型微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。


一定要备注:研究方向+地点+学校/公司+昵称(如多模态或者扩散模型+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群

▲扫码或加微信号: CVer444,进交流群


CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉(知识星球),已汇集近万人!


扫码加入星球学习


▲点击上方卡片,关注CVer公众号

整理不易,请点赞和在看

微信扫码关注该文公众号作者

来源:CVer

相关新闻

MeshAnything V2重磅开源!30秒生成建模师级的3D Mesh!新州小学课程迎来重磅改革!教学大纲将彻底改写!新增中国文化历史课程重磅!新州预算案公布,教育迎来大洗牌!华人该如何应对?华裔学霸妈妈来分享:做到这些,把孩子送进英美顶级名校!重磅新规!澳洲汽车排放标准将迎来巨变:更环保,更省钱!旧车或将被淘汰!下一代半导体存储器,迎来新突破!人工智能全球监管迎来重磅一周!房地产融资迎来重磅消息!3D生成竞技场来了!比拼360°环绕视频,最强模型由你pick重磅!墨尔本回国开新航线,每周三班直飞!7月1号起,回中国入境有权查你这个太牛了,满屏涨停!低空经济迎来重磅利好,大风口已至?小米汽车今日发布,你觉得售价多少?重磅!H1B将迎来“一人一抽”时代,中国留学生都嗨翻了!重磅!川普又迎来一巨大好消息关乎所有新西兰人!明天,重磅政策发布!华人迎来这些好消息!新开源之王来了!1320亿参数,逻辑数理全面打赢Grok,还比Llama2-70B快1倍史上首个100%开源大模型重磅登场!破纪录公开代码/权重/数据集/训练全过程,AMD都能训刚刚,澳洲财长再度重磅发声!澳洲税收将迎来巨变,减税“以人为本”!自由党猛批艾博年“失信于民”理想汽车开源DreamCar!在moving-froward场景中的3D汽车重建重磅!全球恐慌,澳洲人终于迎来了等待已久的审判时刻知名学者与顶级投资人领衔!视频、3D、音乐生成玩家都来了,中国生成式AI大会嘉宾阵容更新,4月开启!广州市委书记宣布要提高政治站位,推动南沙取得新突破!广东同日出台两个重磅法规,聚焦南沙开放发展、制造强省建设最佳开源模型刷新多项SOTA,首次超越Mixtral Instruct!「开源版GPT-4」家族迎来大爆发沪深交易所深夜重磅公告!新规后,IPO和再融资申请来了太火了!悉尼《舞动经典》重磅来袭!北舞青年舞团全明星阵容!2024开年大戏!Vip票即将售罄!华人赶紧看!重磅官宣!新州教育系统将彻底改革!别慌,悉尼“学霸”天团来了!为你答疑解惑,助你圆梦英美名校!
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。