视频里有前男友？谷歌最新AI视频生成器 Lumiere，轻松让他消失

国际科技财经移民娱乐民生时事体育

Bendi新闻

5月前

机器之能报道

编辑：SIA

最喜欢的视频里有前男友？现在，你可以轻松将他删除了。

事实再次证明，AI 生成视频技术的发展速度令人瞠目。

过去几个月，我们一直挣扎在 AI 生成的威尔·史密斯吃意大利面的尴尬场景里，以至于一段再正常不过的吃面场景被视为视频生成领域的“图灵测试”。今天，谷歌又研发出全新的时空扩散模型 Lumiere，将 AI 视频生成水准推向新高度。

法语里， Lumiere 意思是启蒙者。Lumiere 几乎集齐了常见视频生成和编辑功能，也是迄今为止我们所见过的最先进的视频生成器。

Lumiere 会根据用户自然语言提示，创造出非常逼真（高质量超现实主义）视频，时间长达五秒。

模型的图片到视频功能可以根据用户提示，让静止的图像动起来。

和当下火热的 Runaway 动态画笔功能非常相似， Lumiere 的动画功能还能让选定的图像部分运动起来，其他部分仍然保持静止。

根据指定图片风格，Lumiere 可以克隆出一系列类似风格主题的视频。比如，结合输入散发荧光的菌类照片和文本提示（比如奔跑的马），模型就能生成一系列带有荧光效果的动物视频。

在修补功能中，用户可根据需要框定视频中的任何部分、输入文本提示，模型就可以把该部分替换成你要的内容——无论是乐高积木、鲜花还是其他怪异的内容....... 自此，你可以简单地划掉不喜欢的图像内容（比如前男友），让模型为你填充指定内容，非常自然。

修补功能令人难以置信，剜掉一部分内容，系统会为你自动填充。

文本到视频生成器的关键挑战在于合成出真实、多样化且运动连贯的视频效果。为此，谷歌研究人员在 Lumiere 中引入了一种“时空 U-Net 架构”，一次构建了整个视频长度，而不是像以前的模型那样——先生成一个开始帧和一个结束帧，然后尝试猜测中间会发生了什么，这一传统方法的局限性在于很难实现全局的时间一致性。

时空 U-Net 架构