升级!Sora漫步街头的女人可以跳舞啦!科目三蹦迪多种舞姿停不下来,可精准控制动作
夕小瑶科技说 原创
作者 | 付奶茶
Sora为我们展开了一个充满惊喜的新篇章,同时,Viggle这一模型也吸引了公众的目光,并在推特上迅速走红!
想象一个场景,你仅需用几句话就能让画面活灵活现,无论是让角色跳舞、做后空翻,这些曾经只能在科幻电影中见到的场景现在只需动动手指就能实现~
不同于Sora,Viggle赋予你控制视频主角动作的能力,如同指挥。例如下面视频中的样例,当你下达指令让视频中的女主角进行“空中芭蕾跳跃和旋转”,你将见证她以极其流畅的动作开始跳跃。
Viggle依托于JST-1技术,是第一个拥有实际物理理解能力的模型,能够让任何角色按照你的想象移动。尽管Sora已经展示了巨大潜力,但它在精确控制个体动作的能力上还有所欠缺。而Viggle的出现填补了这一空白。它能够让用户能够根据自己的命令自由操控角色动作。
听起来还不错!让我们一起看看吧~
官方网址:
https://viggle.ai/
体验网址:
https://discord.gg/5kk5SKwTWd
物理学大脑
Viggle令人惊叹的是它似乎拥有物理学的常识,在视频中的动作基本上都是合乎常理,即使再炫酷的动作也不脱离现实的物理学规律。
而且,你脑海中的任何想象都能变成视频,不论什么角色,什么场景,都能随便搭配,随意换。它让做视频这事儿不再那么死板,更自由、更有趣了。
五种生成模式
在Discord中Viggle提供了一下下五种模式来生成视频:
混合静态图像与动态视频 (mix)
操作方法:上传一张图像和短视频,开启remix模式即可替换视频主体,并保持参考视频中人物的动作。
从文本创建角色视频 (ideate)
操作方法:描述想要创建的角色以及希望角色执行的动作,或者可以从Viggle 提供的动作模板中选择,创建对应的短视频。
为静态角色添加动画 (animate)
操作方法:上传一张具有明确角色的静态图像;以及希望角色执行的动作。
通过文本提示创建并动画化角色 (character)
操作方法:描述角色,从四个结果中选择一张图像以及希望角色执行的动。
重新风格化您的角色并添加动画 (stylize)
操作方法:上传一张具有明确角色的静态图像;描述希望对角色的风格进行的什么样的改变,接下来从四个结果中选择一张图像;然后组合希望执行的动作。
好家伙!怎么stylize模式有种其余四种模式的套娃的感觉!
目前在Viggle的Discord社区中已经可以看到网友们整了各类花活,例如让超级英雄跳科目三:
但是也有人吐槽Viggle在裙子和裤子上有困扰:
使用步骤
接下来,奶茶给大家介绍一下怎么使用Discord中的Viggle生成自己的专属创作视频:
1、进入Viggle AI的官网,点击“Join The Beta”,进入Viggle AI在Discord入驻的频道:
2、在左侧中列举了五种选项,点击一个后开始你的创造:
3、Viggle AI提供了骨骼动画引导的模版,可以将图片快速创建成对应的动态视频:
4、接下来,开启你的创作吧~
结语
Viggle的出世让任何人的想象力都可以通过简单的操作变为视觉艺术,打开了另外一个全新的世界。不管是想让超级英雄跳科目三,还是简单地为静态角色带来生命,都能简单实现。虽然还有一些小瑕疵,如裙子和裤子的区分问题,但这并不妨碍它成为创意和想象力释放的强大工具。欢迎大家试用后和我们一起探讨~
参考资料
[1]https://twitter.com/imxiaohu/status/1771173928591093940[1]https://zhuanlan.zhihu.com/p/687997612
微信扫码关注该文公众号作者