Bendi新闻
>
Stable Diffusion 3 论文终于发布,架构细节大揭秘,对复现 Sora 有帮助?

Stable Diffusion 3 论文终于发布,架构细节大揭秘,对复现 Sora 有帮助?

7月前

作者:张倩 文章来源:机器之心
Stable Diffusion 3 的论文终于来了!
这个模型于两周前发布,采用了与 Sora 相同的 DiT(Diffusion Transformer)架构,一经发布就引起了不小的轰动。
与之前的版本相比,Stable Diffusion 3 生成的图在质量上实现了很大改进,支持多主题提示,文字书写效果也更好了(明显不再乱码)。
Stability AI 表示,Stable Diffusion 3 是一个模型系列,参数量从 800M 到 8B 不等。这个参数量意味着,它可以在很多便携式设备上直接跑,大大降低了 AI 大模型的使用门槛。
在最新发布的论文中,Stability AI 表示,在基于人类偏好的评估中,Stable Diffusion 3 优于当前最先进的文本到图像生成系统,如 DALL・E 3、Midjourney v6 和 Ideogram v1。不久之后,他们将公开该研究的实验数据、代码和模型权重。
在论文中,Stability AI 透露了关于 Stable Diffusion 3 的更多细节。

论文标题:Scaling Rectified Flow Transformers for High-Resolution Image Synthesis

论文链接:https://stabilityai-public-packages.s3.us-west-2.amazonaws.com/Stable+Diffusion+3+Paper.pdf
架构细节
对于文本到图像的生成,Stable Diffusion 3 模型必须同时考虑文本和图像两种模式。因此,论文作者称这种新架构为 MMDiT,意指其处理多种模态的能力。与之前版本的 Stable Diffusion 一样,作者使用预训练模型来推导合适的文本和图像表征。具体来说,他们使用了三种不同的文本嵌入模型 —— 两种 CLIP 模型和 T5—— 来编码文本表征,并使用改进的自编码模型来编码图像 token。
Stable Diffusion 3 模型架构。
改进的多模态扩散 transformer:MMDiT 块。
SD3 架构基于 Sora 核心研发成员 William Peebles 和纽约大学计算机科学助理教授谢赛宁合作提出的 DiT。由于文本嵌入和图像嵌入在概念上有很大不同,因此 SD3 的作者对两种模态使用两套不同的权重。如上图所示,这相当于为每种模态设置了两个独立的 transformer,但将两种模态的序列结合起来进行注意力运算,从而使两种表征都能在各自的空间内工作,同时也将另一种表征考虑在内。
在训练过程中测量视觉保真度和文本对齐度时,作者提出的 MMDiT 架构优于 UViT 和 DiT 等成熟的文本到图像骨干。

通过这种方法,信息可以在图像和文本 token 之间流动,从而提高模型的整体理解能力,并改善所生成输出的文字排版。正如论文中所讨论的那样,这种架构也很容易扩展到视频等多种模式。
得益于 Stable Diffusion 3 改进的提示遵循能力,新模型有能力制作出聚焦于各种不同主题和质量的图像,同时还能高度灵活地处理图像本身的风格。
通过 re-weighting 改进 Rectified Flow
Stable Diffusion 3 采用 Rectified Flow(RF)公式,在训练过程中,数据和噪声以线性轨迹相连。这使得推理路径更加平直,从而减少了采样步骤。此外,作者还在训练过程中引入了一种新的轨迹采样计划。他们假设,轨迹的中间部分会带来更具挑战性的预测任务,因此该计划给予轨迹中间部分更多权重。他们使用多种数据集、指标和采样器设置进行比较,并将自己提出的方法与 LDM、EDM 和 ADM 等 60 种其他扩散轨迹进行了测试。结果表明,虽然以前的 RF 公式在少步采样情况下性能有所提高,但随着步数的增加,其相对性能会下降。相比之下,作者提出的重新加权 RF 变体能持续提高性能。
扩展 Rectified Flow Transformer 模型
作者利用重新加权的 Rectified Flow 公式和 MMDiT 骨干对文本到图像的合成进行了扩展(scaling)研究。他们训练的模型从带有 450M 个参数的 15 个块到带有 8B 个参数的 38 个块不等,并观察到验证损失随着模型大小和训练步骤的增加而平稳降低(上图的第一行)。为了检验这是否转化为对模型输出的有意义改进,作者还评估了自动图像对齐指标(GenEval)和人类偏好分数(ELO)(上图第二行)。结果表明,这些指标与验证损失之间存在很强的相关性,这表明后者可以很好地预测模型的整体性能。此外,scaling 趋势没有显示出饱和的迹象,这让作者对未来继续提高模型性能持乐观态度。
灵活的文本编码器
通过移除用于推理的内存密集型 4.7B 参数 T5 文本编码器,SD3 的内存需求可显著降低,而性能损失却很小。如图所示,移除该文本编码器不会影响视觉美感(不使用 T5 时的胜率为 50%),只会略微降低文本一致性(胜率为 46%)。不过,作者建议在生成书面文本时加入 T5,以充分发挥 SD3 的性能,因为他们观察到,如果不加入 T5,生成排版的性能下降幅度更大(胜率为 38%),如下图所示:
只有在呈现涉及许多细节或大量书面文本的非常复杂的提示时,移除 T5 进行推理才会导致性能显著下降。上图显示了每个示例的三个随机样本。

模型性能
作者将 Stable Diffusion 3 的输出图像与其他各种开源模型(包括 SDXL、SDXL Turbo、Stable Cascade、Playground v2.5 和 Pixart-α)以及闭源模型(如 DALL-E 3、Midjourney v6 和 Ideogram v1)进行了比较,以便根据人类反馈来评估性能。在这些测试中,人类评估员从每个模型中获得输出示例,并根据模型输出在多大程度上遵循所给提示的上下文(prompt following)、在多大程度上根据提示渲染文本(typography)以及哪幅图像具有更高的美学质量(visual aesthetics)来选择最佳结果。
以 SD3 为基准,这个图表概述了它在基于人类对视觉美学、提示遵循和文字排版的评估中的胜率。
 从测试结果来看,作者发现 Stable Diffusion 3 在上述所有方面都与当前最先进的文本到图像生成系统相当,甚至更胜一筹。
在消费级硬件上进行的早期未优化推理测试中,最大的 8B 参数 SD3 模型适合 RTX 4090 的 24GB VRAM,使用 50 个采样步骤生成分辨率为 1024x1024 的图像需要 34 秒。
此外,在最初发布时,Stable Diffusion 3 将有多种变体,从 800m 到 8B 参数模型不等,以进一步消除硬件障碍。
更多细节请参考原论文。
参考链接:https://stability.ai/news/stable-diffusion-3-research-pa






微信扫码关注该文公众号作者

来源:APPSO

相关新闻

如何1秒内快速总结100多页文档?QQ 浏览器首次揭秘大模型实现技术细节大揭秘!超级富豪购买房产时有哪些不为人知的秘密?刚发布就被对标Sora,这个国产模型来头这么大?大揭秘!2024年,你的钱会被花在哪?看这里就对了!今日arXiv最热大模型论文:上海AI lab发布MathBench,GPT-4o的数学能力有多强?被大V推荐的AI论文,被引量会翻倍?两位推特博主5年推文背后影响揭秘Stable Diffusion 3 API 发布!超越Midjourney v6和DALL-E 3成就了Sora和Stable diffusion 3的DiTs,究竟是啥减肥一斤值5413万?揭秘「大腕」贾玲崛起之路标普500长涨纪录终结,美股将陷熊市?两大因素揭秘!无排期的吸引下如何挑选EB-5项目?优质项目大揭秘首日销售上万美元!中国小伙在美卖三轮车赚大钱?创业真相大揭秘....美联储3月有大戏?俄乌战争结果将由中国决定?高盛发布对中国七大行业产能分析,5个行业产能超过全球需求之和……NYU Study Abroad大揭秘:不是吧?!纽约顿时不香了!太优秀!这些新西兰和中国的学生,斩获常春藤、斯坦福、牛剑顶校Offer!他们,究竟做对了什么?独家揭秘...周冠宇创造历史,谷爱凌、雷军来观赛!我在上海看F1,揭秘究竟有多火?产业周观|小米汽车赢麻了?AI人才哪家强?金店加盟大揭秘、动力电池的下一座金矿……美国税号有哪三种?一起来揭秘一下!刺杀川普凶手身份背景大揭秘!“极右分子”?不满川普变温和“留子”门派大揭秘!赶due派?深夜emo派?康康你是哪一类…最新发布的AlphaFold 3有多厉害?我们请使用者聊了聊深入分析:新“国九条”发布对金融人有什么影响?生理期对运动员表现会有大影响?很多人的认知出现误区
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。