Bendi新闻
>
Yann LeCun发来肯定:腾讯人像照片生成可以随便玩了

Yann LeCun发来肯定:腾讯人像照片生成可以随便玩了

9月前

机器之心报道

编辑:陈萍、大盘鸡

AI 帮你成为百变星君。

这一次,Yann LeCun 首次跻身「百变大咖」。身穿钢铁侠的衣服、戴着酷酷的墨镜面无表情地注视着你,一身古装在故宫门前打卡留念……



就连本人也出来转发并喊话,「左下角这幅文艺复兴时期的画,是我的最爱。」



性感女神寡姐身穿紫色巫师服注视着远方,还可以戴着圣诞帽和你对视:



身穿太空服的奥特曼看起来萌萌的,把头发染成红色也毫无违和感



上述研究便是来自南开大学、腾讯等机构提出 PhotoMaker,这是一种高效的个性化文本到图像生成方法。相关论文《PhotoMaker:Customizing Realistic Human Photos via Stacked ID Embedding 》于去年 12 月放出,刚刚,项目也已经开源。不到一天时间,星标量高达 650+。



项目地址:https://github.com/TencentARC/PhotoMaker?continueFlag=98363d6ac1beafe515190e50d2c40427


PhotoMaker 除了生成逼真的人像,还能进行其他风格的生成,如草图、漫画、动画等。



不同人物身份也能进行混合,创造出一个全新的人物形象。赫本和爱莎公主的组合版兼顾了两者的特点:



改变照片人物的年龄、性别也不是不可以:不知 LeCun 对这次生成的女装有何感想。


图源:https://twitter.com/xiaohuggg/status/1746861416743928103


这项研究可以人人试玩,操作也非常简单,分为 4 步:


  • 首先是上传一张图片,一张就可以了,不过多张效果会更好,上传图片中的人脸应该占据图像的大部分。

  • 第二步是输入文本提示,操作过程中确保使用触发词 img,例如 man img、woman img 或 girl img。

  • 第三步是选择喜欢的风格模板(内置有十多种)。

  • 最后一步是单击 Submit 按钮,等待生成。


以上生成过程如果有操作不当的地方,PhotoMaker 都会进行提示,不用怕自己操作失误。


体验中,我们输入一张马斯克的照片,提示语为「A man img wearing aspacesuit」,风格为漫画形式,等待几秒就可以了,效果看起来还不错。



试玩地址:https://huggingface.co/spaces/TencentARC/PhotoMaker?continueFlag=98363d6ac1beafe515190e50d2c40427


这项研究背后用到了哪些技术,我们接着往下看。


研究介绍



论文地址:https://arxiv.org/pdf/2312.04461.pdf


PhotoMaker 这种高效的个性化文本到图像生成方法,它主要将任意数量的输入 ID 图像编码成一个堆叠 ID 嵌入,以保留 ID 信息。这样的嵌入作为统一的 ID 表征,不仅可以全面封装相同输入 ID 的特征,而且还可以适应不同 ID 的特征以供后续集成。这为更有趣和实用价值的应用铺平了道路。



如图 1 所示,PhotoMaker 不仅能进行常见的重新构建,还能改变输入人像的属性(例如,配饰和表情),从输入 ID 生成完全不同视角的人类照片,甚至修改输入 ID 的性别和年龄(见图 1)。


PhotoMaker 还为用户生成定制人像提供了许多可能性。虽然在训练过程中构建堆叠 ID 嵌入的图像来自同一 ID,但在推理过程中可以使用不同的 ID 图像来形成堆叠 ID 嵌入,以合并和创建新的定制 ID。合并的新 ID 可以保留不同输入 ID 的特征。例如,PhotoMaker 可以生成看起来像马斯克的斯嘉丽,或者生成一个将某人与知名 IP 角色混合的定制 ID,见图 1(c)。


为了推动 PhotoMaker 的训练,研究者提出了一个面向 ID 的数据构建 pipeline 来组装训练数据。在通过所提出 pipeline 构建的数据集的帮助下,PhotoMaker 展示出比测试时微调基础方法更好的 ID 保留能力,同时提供了显著的速度提升、高质量的生成结果、强大的泛化能力和广泛的应用范围。图 2 (a) 展示了 PhotoMaker 的概览。图 2 (b) 展示了相关的数据构建 pipeline。



如图 3 与表 1 所示,在定性及定量实验中,PhotoMaker 可以很好地满足生成高质量图像的能力,同时确保 ID 的高保真度。




PhotoMaker 还可以将上世纪甚至古代的人物带到当代,为他们「拍照」,如图 4 (a) 所示。与 PhotoMaker 相比,Dreambooth 和 SDXL 都难以生成现实中没有出现过的逼真人物图像。此外,由于 DreamBooth 过度依赖定制图像的质量和分辨率,因此在使用旧照片进行定制生成时,DreamBooth 很难生成高质量的结果。



如果用户输入的是不同 ID 的图片, PhotoMaker 可以很好地整合不同 ID 的特征,形成一个新的 ID。从图 5 可以看出,DreamBooth 和 SDXL 都无法实现身份混合。相比之下,无论输入的是动漫 IP 还是真人,无论性别如何,PhotoMaker 都能在生成的新 ID 上很好地保留不同 ID 的特征。



此外, PhotoMaker 的风格化表现也十分优秀。如图 6 展示,PhotoMaker 不仅保持了良好的 ID 保真度,还有效地展示了 prompt 中的风格要求。



更多详细技术内容,请阅读原论文。





© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

来源:机器之心

相关新闻

Yann LeCun:生成模型不适合处理视频,AI得在抽象空间中进行预测ACL 2024论文盖棺定论:大语言模型≠世界模拟器,Yann LeCun:太对了OpenAI 突然收购实时分析数据公司,传统数据库厂商:快来,OpenAI 又带我们玩了Yann LeCun杨立昆最新观点:AGI不存在考试带反作弊帽加5分,还可以自己设计??学生:这可就有的玩了....小红书开源「InstantID」效果炸裂,被Yann LeCun点赞,迅速蹿上Github热榜这个「AI 写真」开源项目火了! GitHub 一周暴涨四千星,Yann LeCun 亲自转发聊一聊:你最近玩了啥手游?"退选"声越来越高,超32名议员呼吁他"别玩了",拜登:哼!我不。周其仁:“不和你玩了”,才叫最大的制度失败医生:这些危险玩具,不要再给孩子玩了!看房、打碟、开特斯拉车门、吸尘攒金币:刚刚,第一批把Vision Pro抱回家的人已经开玩了岸田文雄辞职不玩了,朝鲜对日本的一盘大棋怎么办?麻省这家Airbnb你真的太会玩了!太炸裂!9万澳洲人齐聚悉尼疯跑?!奇装异服刷屏全网!City 2 Surf 2024最精彩的看点,澳洲人太会玩了...强! 这华人玩了个大的,从加拿大坐公交到墨西哥 9天$200横跨3国 边境警察看傻了做不到这三点,建议你暑假就别带孩子出去玩了(推荐家长都看看)金身破了,不玩了东莞前首富,不跟你们玩了100亿身价的马未都,一口气裁员80人,是不想玩了,还是地主家也没余粮了?我们跟三宅唱在上海玩了三天,有一天的夜晚是蓝色的我为什么只和男人玩,不怎么和女人玩了做不到这三点,就别带孩子出去玩了德国人也太会玩了吧,再不敢说德国无聊啦
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。