Bendi新闻
>
鹅厂最新AI工具刷屏!杨幂寡姐多风格写真秒秒钟生成,LeCun点赞 | 可免费体验

鹅厂最新AI工具刷屏!杨幂寡姐多风格写真秒秒钟生成,LeCun点赞 | 可免费体验

9月前
白交 发自 凹非寺
量子位 | 公众号 QbitAI

大厂们在整活方面开始卷起来了!

前脚字节阿里的工具火了,现在腾讯这个新照片生成应用PhotoMaker直接刷屏,瞧这阵仗……

只需上传一张或以上照片,无需额外LoRA训练,就能快速可定制。任何人、任何风格,高保真那种。

于是秒秒钟,LeCun化身钢铁侠。但随后LeCun转发表示:那个文艺复兴时期的绘画风格是他最喜欢的。

杨幂各类风格写真爆出。

除此之外,还有更多有意思的功能,目前应用Demo已免费开放体验。

这就来提前体验一把。

PhotoMaker刷屏

总结来看,PhotoMaker主要有这样三大功能:

第一个,可以根据描述生成多种风格个人照片

比如,你见过这样的黑寡妇吗?

就是在二次元里也行的照片,也可以生成。

第二个,混合不同人物特征,生成全新人物形态

脑洞大开一下,奥特曼和乔布斯“生”的孩子,可能长这样???

甚至还可以破次元结合!

除此之外,还有一些小细节的功能,修改个年龄、性别以及照片年代啥的。

小时候的马斯克,你见过吗?

当LeCun变成几十岁大妈……

目前,研究团队给了两个体验版本:官方原版以及风格化版本。其中风格化版,要想实现更好的效果,仅需要更改基础模型并添加LoRA模块。

不过这两个版本食用起来没有任何区别,主要分为三个步骤。

首先,上传你想定制的照片。一张可以,多张也行。

值得注意的是,他们这里强调了,他们不会进行人脸检测,但上传的图片人脸已经要占据图片大部分。

其次,输入文字提示,确保在要定制的类别词后面加上触发词:img

如:男人 img 或女人 img 或女孩 img。

然后再选择喜欢的样式、风格模版,就可以生成了。

不过现在实测,效果会出的比较慢,可能是太多人使用了。

如何实现?

简单来说,PhotoMaker采用了一种简单而有效的表示方法——堆叠ID嵌入。

它可将多个身份证明(ID)图像的信息合并成统一的数据结构,这样能更好保存单个ID信息的同时,还能整合多个不同ID特征。

具体而言,首先,分别从文本编码器和图像编码器中获取文本嵌入和图像嵌入。然后,通过合并相应的类别嵌入(比如性别)和每个图像嵌入,提取融合嵌入。接着,沿长度维度串联所有融合嵌入,形成堆叠ID嵌入。最后再将其输入到Diffusion Model生成图像。

由于训练过程需要使用按ID分类的数据集,但现有数据集要么没有注释ID信息,要么所包含的场景丰富度有限,比如只关注面部区域。

为此,研究人员还专门构建了一个以ID为导向的文本图像数据集构建管线,它能按照不同ID进行分类。每个ID都有多幅图像,这些图像包括不同的表情、属性、场景等。

需要注意的是,虽然训练过程中使用的是带背景遮蔽的同一ID图像,但在推理过程,可直接输入不同ID、且不带背景遮蔽的图形,来创建新ID。

实验结果表明,与其他方法相比,PhotoMaker具备高质量和多样化的生成能力,以及可编辑性、保真性。

此外,这一方法还能实现更多以往难实现的有趣功能。比如改变年龄或性别、将旧照片或艺术作品中的人物还原到现实中以及身份混合等。

好了,感兴趣的朋友可戳下方链接玩玩~
https://huggingface.co/spaces/TencentARC/PhotoMaker
https://huggingface.co/spaces/TencentARC/PhotoMaker-Style
论文链接:
https://arxiv.org/abs/2312.04461
项目链接:
https://github.com/TencentARC/PhotoMaker?tab=readme-ov-file#start-a-local-gradio-demo

—  —

点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 


微信扫码关注该文公众号作者

来源:量子位

相关新闻

1小时免费课!鹅厂AI资深架构师、风平智能联合创始人开讲了,攻破企业AI营销与运营两大难题鹅厂革新大模型工具全链条!5分钟开发AI助手,河南学生已经用上了遇到这款“男士内裤”才发现这么多年的内裤都白穿了,桑蚕丝裸感体验,上身秒降温!纽约最大夏季艺术节回归!200多场活动免费!竟还有AR/VR现场体验!乌俄最新:无啦无啦!火光冲天,鹅多地遇袭……【明晚8点学长说】弗吉尼亚大学在读学姐真实体验!最强开源大模型深夜炸场! Llama 3 王者归来,直逼 GPT-4, 马斯克点赞 | 附体验链接安多福、埃克塞特、MIT、JHU优秀学长姐齐聚!真实就读体验&求职经历分享!还有顶尖美高招生官中国行……大实话!听听安多福+埃克塞特双录取上海男孩;MIT、JHU学长学姐们的真实体验!鹅厂造了个AI翻译公司:专攻网络小说,自动适配语言风格,真人和GPT-4看了都说好硅谷视野+中国实践,汇聚全球顶尖技术的 AI 科技盛会,更有生成式 AI 黑科技上手体验、蔚来试驾等你来!| AICon湾区母亲节福利来袭!最受欢迎的樱桃草莓团购、瑜伽维秘瘦身塑形体验课、医美护肤秒杀价等活动太丰富啦!爆火!Costco送免费早餐:凌晨4点5000人排队挤爆!爱马仕大鹅抢疯!首节免费|体验正课的机会来啦!《数据科学·机器学习2024求职备战指南》为你揭秘大厂面试选人标准!李未可科技古鉴:发布自研多模态大模型WAKE-AI,三大优化让AI眼镜交互体验升级 丨GenAICon 2024惊艳|盘点2024年下水服役的11艘最新邮轮!太亮眼了!每一艘都想去体验~【火爆】Costco送免费早餐:凌晨4点,5000人排队挤爆,爱马仕大鹅抢疯!大开眼界国泰学生惠 | 限时低至81折*订票优惠,深圳贵宾室免费体验!马上抢位|《数据科学·机器学习求职指南》第1节正课免费体验!FLAG数据科学家带你准备核心技能和面试技巧!免费体验!纽约这家4区都有的瘦身医美连锁竟能让你「躺赢」!女明星永远少女感的秘密都在这......扫码进群|《数据科学·机器学习求职实战营》正课免费体验!FLAG数据科学家带你科学准备DS面试!扫码进群|《数据科学·机器学习求职实战营》第1节正课免费体验!FLAG数据科学家带你科学准备DS面试!抢先体验!AI技术如何助力律师业绩翻倍?苹果iPhone 16抢先“体验”!多处设计大改,或6499元起售,心动了吗
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。