Bendi新闻
>
支持合成一分钟高清视频,华科等提出人类跳舞视频生成新框架UniAnimate
支持合成一分钟高清视频,华科等提出人类跳舞视频生成新框架UniAnimate
5月前
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]
论文地址:https://arxiv.org/abs/2406.01188 项目主页:https://unianimate.github.io/
无需额外的参考网络:UniAnimate 框架通过统一的视频扩散模型,消除了对额外参考网络的依赖,降低了训练难度和模型参数的数量。 引入了参考图像的姿态图作为额外的参考条件,促进网络学习参考姿态和目标姿态之间的对应关系,实现良好的表观对齐。 统一框架内生成长序列视频:通过增加统一的噪声输入,UniAnimate 能够在一个框架内生成长时间的视频,不再受到传统方法的时间限制。 具备高度一致性:UniAnimate 框架通过迭代利用第一帧作为条件生成后续帧的策略,保证了生成视频的平滑过渡效果,使得视频在外观上更加一致和连贯。这一策略也使得用户可以生成多个视频片段,并选取生成结果好的片段的最后一帧作为下一个生成片段的第一帧,方便了用户与模型交互和按需调整生成结果。而利用之前时序重合的滑动窗口策略生成长视频,则无法进行分段选择,因为每一段视频在每一步扩散过程中都相互耦合。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:[email protected]
微信扫码关注该文公众号作者
来源:机器之心
相关新闻
让人物跳起来!华科&阿里巴巴提出UniAnimate:人类跳舞视频生成新框架!支持合成一分钟高清视频!9家AI相关公司获融资;3大科技巨头被曝将面临反垄断调查;Vidu重大更新,生成32秒视频,支持音视频合成丨AI情报局BB鸭 | 小米官方回应SU7工厂停工;微信新版本支持视频倍速;爱奇艺限制投屏被判补偿41天会员;iPhone X成过时产品AI早知道|Stability AI 资金危机或考虑出售;腾讯混元大模型支持 16s 视频生成腾讯混元大模型升级:部分中文能力已追平GPT-4,支持16s视频生成;索尼音乐禁止人工智能开发商使用其音乐内容丨AIGC日报腾讯混元文生图大模型开源:Sora 同架构,更懂中文,已支持 16s 视频生成Open-Sora全面开源升级:支持16s视频生成和720p分辨率Open-Sora 全面开源升级:支持 16s 视频生成和 720p 分辨率Open-Sora 全面开源升级:支持单镜头16s视频生成和720p分辨率国产开源Sora上新:全面支持国产AI算力,可用ReVideo视频编辑,北大-兔展团队出品华为和苹果同一天发布新平板,还有一款支持触控笔的笔记本孙颖莎等运动员吹灭奥运圣火,中国金牌榜并列第一/华为 AI 消除功能目前仅支持部分新机型/网店挂错价格,被疯抢价值 2 亿元产品iPhone将支持通话录音,苹果发布全新生成式AI;华为辟谣曾提出投资柔宇;小米辟谣SU7补贴两万;奈雪回应被指卖过期蛋糕...热搜!余承东把问界M9送到360楼下,周鸿祎:永远支持华为!他还体验了仰望U8等新能源车早鸟报|京东将下线PLUS综合分;美团团购上线“秒提”服务;腾讯新增流量场景支持视频号直播推广...iPhone 16设计图流出!支持Vision Pro空间视频,独立拍照按钮,影像大升级为女儿筹医药费,美国夫妇拍性爱视频网上出售,众多网友支持点赞澳洲多地爆发千人大游行,反对性别暴力!艾博年等一众政客到场支持凯特王妃亲身出镜声明患癌, 感恩所有人关爱和支持!(附完整中英文字幕视频)意大利计划为F-35B配备新武器,还得等Block4升级支持Ubuntu 23.04 结束支持,官方督促用户升级 23.10 等新 Linux 发行版本iPhone17系列或将新增「 Air 」版本/华为AI消除功能目前仅支持部分新机型/导游嘲讽游客穷就别出来,官方:已成立调查组AI早知道|谷歌推出文生视频模型Veo;百度发布全球首个支持 L4 级自动驾驶的大模型加拿大抗癌协会合作项目需要您的支持及B型脑膜炎疫苗访谈要点(含视频)