又一Sora级选手来炸街！我们拿它和Sora、可灵PK了下

国际科技财经移民娱乐民生时事体育

Bendi新闻

5月前

机器之心报道

编辑：杨文

当Sora「千呼万唤」不出来时，OpenAI 的对手们却纷纷祭出大杀器来炸街。

Sora 再不开放使用，真的要被偷家了！

今日，旧金山初创公司 Luma AI 打出一手王牌，推出新一代 AI 视频生成模型 Dream Machine。人人免费可用。

据介绍，该模型能够根据简单的文本描述生成高质量、逼真视频，效果堪比 Sora。

消息一出，大量用户挤进官网尝鲜。

尽管官方声称该模型能在短短两分钟内生成 120 帧视频，但由于访问量激增，许多用户在官网中苦苦等待数小时。

Luma 的产品增长主管 Barkley Dai 不得不在 Discord 上发文解释 ——

「目前我们面临巨大的需求，正在努力提升我们的处理能力。所有视频生成任务都会保留，只是需要在队列中稍作等待。一旦我们增加了处理能力，我会立刻在这里通知大家！」

Dream Machine 效果到底如何？

有网友表示，目前，Luma 是 AI 视频领域的新王者。

还有网友称，「我们不再需要 Sora ！」不知 OpenAI 看了作何感想。

不过也有网友吐槽，制作 8 个视频后，系统提示「超出最大使用限制」，并且没有解释应该等待多长时间才能制作新视频。

网友疯狂整活儿

这几天，AI 视频圈子卷疯了，你方唱罢我登场。

先是快手可灵开启内测，排队人数超过 5 万人，紧接着 Luma 就祭出杀手锏 Dream Machine，人人免费可用。

与其他 AI 视频模型相比，Dream Machine 具有以下几个特点：

1. 速度快，120 秒即可生成 120 帧；

2. 动作逼真，流畅，还融入电影级别的摄影技巧和戏剧张力；

3. 角色一致性极强，能够模拟物理世界；

4. 运镜自然，可匹配场景情感。

Luma 官方和广大网友们陆续整活儿，奉上了一出出精彩的视觉盛宴。

例如，这段使用文本生成的视频，画面是一辆汽车在马路上狂飙。无论是行驶过程还是镜头转换，丝滑逼真。

一个低至地面的摄像机，跟踪一群小仓鼠深入洞穴，这画面与 Sora 的蚂蚁视频有异曲同工之妙，不过，Dream Machine 使用的是图生视频功能，俗称「垫图」。

一个身穿橙色 T 恤的光头男人在房间内移动，人物的逼真程度以及画面构图媲美电影大片。

这是一个废墟场景拍摄镜头。地面上废弃的绳子、木板以及墙面的涂鸦呈现地自然真实。

画面中，一名妙龄女子挥舞裙摆跳舞，动作行云流水，像极了奢侈品广告大片。不过美中不足的是，裙摆、头发会出现形变。

甚至有网友生成了一段杀手枪战的动作场景。

网友 @ai_mov_director 还用它生成一段 1 分钟的故事片 ——「Break The Tie」，在保持人物一致性方面，Dream Machine 有两把刷子。

除了生成逼真视频外，Dream Machine 也可以尝试不同风格。

比如日本动漫风：

迪士尼风格：

总体来看，Dream Machine 在视频的逼真度、流畅度方面值得称道，不过它并非完美。

曾为苹果、三星、谷歌等知名品牌执导过广告的 Julien Vallee 表示，Dream Machine 能够模仿自然摄像机动作，特别是手持拍摄时，效果非常逼真。然而，与其他模型一样，它也需要一些试错，才能生成出色的镜头。

文生视频圈大乱斗

2024 年是大选之年，OpenAI 为了不惹事，一直把 Sora 藏着掖着。

当 Sora「千呼万唤」不出来时，对手们却纷纷祭出大杀器来炸街。

AI 视频领域风云突变。

既然 Dream Machine、可灵都打着「对标 Sora」的旗号，那么，我们索性就搞个竞技场，让 Dream Machine、可灵与 Sora 同台 PK。

Prompt 1:photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee.

中文提示词 1：两艘海盗船在一杯咖啡中航行时相互争斗的逼真特写视频。

Sora：

Dream Machine：

可灵：

Prompt 2：Nighttime footage of hermit crabs using light bulbs as shells.

中文提示词 2：寄居蟹用灯泡做壳的夜间镜头。

Sora：

Dream Machine：

可灵：

Prompt 3：macro shot of a leaf showing tiny trains moving through its veins.

中文提示词 3：一片叶子的微距照片，显示微小的火车在叶脉中移动。

Sora：

Dream Machine：

可灵：

Prompt 4：A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

中文提示词 4：一个时髦的女人走在东京的街道上，到处都是温暖的霓虹灯和生动的城市标志。她穿着黑色皮夹克、红色长裙、黑色靴子，拿着一个黑色钱包。她戴着太阳镜，涂着红色的口红。她走起路来自信而随意。街道是潮湿和反光的，创造了一个彩色灯光的镜子效果。许多行人走来走去。

Sora：

Dream Machine：

可灵：

Prompt 5:Archeologists discover a generic plastic chair in the desert, excavating and dusting it with great care.

中文提示词 5：考古学家在沙漠中发现了一把普通的塑料椅子，他们小心翼翼地挖掘并掸去了上面的灰尘。

Sora：

Dream Machine：

可灵：

Prompt 6：a computer hacker labrador retreiver wearing a black hooded sweatshirt sitting in front of the computer with the glare of the screen emanating on the dog's face as he types very quickly.

中文提示词 6：一只穿着黑色连帽运动衫的电脑黑客拉布拉多猎犬坐在电脑前，当它快速打字时，屏幕的眩光照射在狗的脸上。

Sora:

Dream Machine：

可灵：

英伟达领投的这家公司什么来头？

Dream Machine 火了，也让其背后的公司 Luma AI 出尽了风头。

Luma AI 成立于 2021 年，最初只是一家聚焦于 3D 内容生成的技术公司。

首席执行官 Amit Jain 曾是苹果公司的计算机视觉系统工程师，首席技术官 Alex Yu 曾是加州大学伯克利分校的研究生（放弃博士学业创办了 Luma AI ）。二人在 3D 视觉、机器学习、实时图形学等领域都有所建树。

据悉，这家公司已经历数轮融资。

A 轮融资由 Amplify Partners、Nventures（Nvidia 投资部门）和 General Catalyst 领投，共筹集 2000 万美元；B 轮融资则由硅谷顶级风投公司 Andreessen Horowitz、英伟达领投，筹集 4300 万美元。截至目前，公司共融资 7000 多万美元，估值在 2 亿到 3 亿美元之间。

去年 11 月，Luma AI 在 Discord 服务器上推出了文生 3D 模型 Genie。后来推出 1.0 版本，把出图时间从 20 多秒提升到了 10 秒之内。

没想到，这次 Luma AI 直接转道 AI 视频领域。

据官网显示，Luma AI 核心团队仅 34 人，从名字看，有 5 人是华人。

联合创始人兼首席技术官 Alex Yu，2021 年从加州大学伯克利分校毕业。期间，他在伯克利人工智能研究实验室与 Angjoo Kanazawa 教授一起进行 NeRFs 研究。

同年毕业于加州大学伯克利分校的 Angela Dong，曾在 Drive.ai、Lyft Level 5 和 Zipline 等公司实习，随后又加入 Cruise 担任仿真工程师，专注于为感知模型训练创造合成数据。目前，她在 Luma 担任机器学习工程师。

首席科学家 Jiaming Song 本科毕业于清华大学，硕博毕业于斯坦福大学。在加入 Luma AI 之前，他曾担任英伟达学习和感知（Learning and Perception）研究团队和深度想象（Deep Imagination）研究团队的研究科学家。

此外，Quei-An Chen 和 Paul Yoo 在 Luma 担任研究科学家。

（左为Quei-An Chen，右为Paul Yoo）

其中 Quei-An Chen 在 NeRF 领域深耕，曾因其在 Github 上发起的多个热门开源项目而声名鹊起，比如 Neural Scene Flow Fields 和 Instant-NGP。在加入 Luma 之前，他在 DENSO 公司和 LINE 公司参与了多个 3D 视觉技术项目。

链接：

https://lumalabs.ai/dream-machine/creations

转载请联系本公众号获得授权

投稿或寻求报道：[email protected]

微信扫码关注该文公众号作者

来源：机器之心

又一Sora级选手来炸街！我们拿它和Sora、可灵PK了下

相关新闻