Bendi新闻
>
小红书开源「InstantID」效果炸裂,被Yann LeCun点赞,迅速蹿上Github热榜

小红书开源「InstantID」效果炸裂,被Yann LeCun点赞,迅速蹿上Github热榜

9月前

机器之心发布

机器之心编辑部

只需一张照片,整个过程无需训练 LoRA 模型,多风格 AI 写真即刻呈现!

最近,有一群来自小红书的 95 后神秘团队,自称 InstantX,搞了个大动作 —— 开源「InstantID」项目。

InstantID 凭借着高质量的图像生成能力,在开源界掀起了一股热潮:不仅获得了众多技术大佬的点赞,更是在 GitHub 热榜上迅速飙升,成为焦点。

这个「出片神器」,让用户只需上传一张照片,就能轻松定制出多种风格的 AI 写真。


对,你没看错。如图左侧所示,与之前爆火的妙鸭相机至少需要上传 20 张照片不同的是,InstantID 只需一张自拍,不依赖模型训练,不需要等待,瞬间变身。

无论是古典油画的优雅,炫酷的赛博朋克,或是 3D 雕像的立体感,只要是你喜欢的风格,InstantID 都能轻松驾驭。

它不仅风格多样,还能在保持人物面部高保真的同时,无需模型训练,实现秒级出图,效率大幅提升。

InstantID 目前位列 Hugging Face Space Trending 榜首,许多小伙伴玩得不亦乐乎~

比如,把马斯克送上了火星。


让蒙娜丽莎拍「樱花写真」,微笑依旧很神秘。


甚至可以让语文课本中的杜甫从二维变三维,穿越到现代变身「帅大叔」。


图灵奖得主 Yann LeCun,化身多种动漫人物,你猜出了几个角色?


就连 Yann LeCun 本人也点赞转发,调侃自己的「钢铁侠」衣服在哪里。


在个性化图像合成领域,实现强烈风格化写真的同时保持面部高保真度,一直是个挑战。

从效果上看,InstantID 做到了。那它背后运用了哪些方法,有什么独到之处吗?


回顾过去,尽管 Textual Inversion、 DreamBooth 和 LoRAs 等技术已经取得了重大进展。但它们在实际应用中仍受限于高存储需求、耗时的微调过程以及对多张参考图像的依赖。相比之下,现有基于 ID 嵌入的方法虽然只需一次前向推理,但也面临不小挑战:要么需要对大量模型参数进行广泛的微调,要么与社区预训练模型不兼容,要么无法保持高真实性。

InstantID 的出现,打破了这些局限。小红书 InstantX 团队公开了论文《 InstantID: Zero-shot Identity-Preserving Generation in Seconds 》和推理代码,他们表示:InstantID 巧妙地避免了对文生图模型 UNet 部分的训练,仅通过训练一个轻量级的可插拔模块,实现了在推理过程中无需 test-time tuning,同时保持了文本控制的灵活性,确保了面部特征的高保真度。

 
如图所示,InstantID 的工作原理可分为三个关键部分:

  • ID Embedding:团队利用预训练的面部识别模型代替 CLIP 来提取语义人脸特征,并使用可训练的投影层,将这些特征映射到文本特征空间,形成 Face Embedding,具有丰富的语义信息,包括如面部特征、表情、年龄等,为后续的图像生成提供了坚实的基础。
  • Image Adapter:引入一个轻量级的适配模块,将提取的身份信息与文本提示结合起来。这个模块通过解耦的交叉注意力机制,使得图像和文本能够独立地影响生成过程,从而在保持身份信息的同时,允许用户对图像风格进行精细控制,实现「双赢」。
  • IdentityNet:小红书提出了一个名为 IdentityNet 的网络,是 InstantID 的核心部分。它通过强语义条件(如面部特征的详细描述)和弱空间条件(如面部关键点的位置)来编码参考面部图像的复杂特征。在 IdentityNet 中,生成过程完全由 Face Embedding 引导,无需任何文本信息。仅更新新添加的模块,而预先训练的文本到图像模型保持冻结以确保灵活性。

在实际的图像生成过程中,InstantID 首先会接收到用户的文本提示和面部图像。然后通过 ID Embedding 提取关键信息,接着 Image Adapter 将这些信息与文本提示融合。IdentityNet 会根据这些融合后的信息生成图像。

整个过程是自动化的,用户不需要进行任何额外的微调或训练,只需等待二十几秒,就能得到一个既符合文本描述又保留个人身份特征的定制图像。
 


InstantID 不仅解决了训练效率与身份保真度之间的平衡问题,还提供了一系列令人印象深刻的特性。

首先,InstantID 的即插即用和兼容性是其最大的卖点之一。它无需对 UNet 进行额外训练,即可与现有的预训练模型无缝集成,如社区内的文生图基础模型、LoRAs 和 ControlNets。这意味着用户可以在不增加成本的情况下,轻松地在推理过程中保持人物的身份特征,裂变性强。


其次,InstantID 的无需微调特性,使得它在实际应用中极具经济性和实用性。用户只需进行一次前向传播,即可快速生成图像,同时保持对文本编辑的强大控制力,让身份信息与各种风格完美融合。如下图所示,其编辑性强的特点让用户能够通过文本控制性别、头发、服装等细节,确保生成图像的多样性。


性能方面的表现同样卓越,它能够仅凭一张参考图像,就生成具有高保真度和灵活性的先进结果。这一性能不仅超越了基于单张图片特征的嵌入方法,如 IP-Adapter-FaceID,而且在特定场景下,其效果与 ROOP、LoRAs 等方法不相上下。


对于相似度有更高要求的真人写真场景,InstantID 也能完成得不错。不仅能够在秒级时间内完成高质量的图像生成,还避免耗时的 LoRa 训练,相比妙鸭成本更低,大约是其 1/300。通过精细化控制脸部区域,InstantID 能够增强脸部相似度,同时保持整体风格的和谐。


此外,InstantID 的分区域生成方案支持多人多风格的图像生成,耗时基本无增。


它的鲁棒性和泛化性,使其能顺利处理夸张的五官比例。


多视角的生成也没问题。按你指定的姿势图和面部特征,生成新的 AI 写真。


InstantID 的可扩展性良好,能够快速支持多种衍生功能。

比如快速换脸。与 Inswapper 相比,InstantID 生成的作品在面孔和背景的融合上更加灵活。


ID 信息插值。InstantID 支持两脸自定义融合,保留双方特征。


非人像与 ID 的结合,很有特点。


聊到这儿,不妨你亲自尝试一下,感受它的魅力。

操作方式非常简单,进入 InstantID 的 Demo 页面,直接上传照片,便可免费体验 :
https://huggingface.co/spaces/InstantX/InstantID


InstantID 的这些优势,不仅为个人用户提供了强大的创作工具,也为商业应用如电子商务、广告和娱乐产业开辟了新的可能性。InstantID 本次表现令人惊喜,其高效、灵活、强大的性能和易用性,印象深刻。期待小红书该开源项目的后续进展,未来能在多个领域发挥出更大的价值。

附录:
  • 论文地址:https://arxiv.org/abs/2401.07519
  • InstantID 主页:https://instantid.github.io/
  • Demo 尝鲜:https://huggingface.co/spaces/InstantX/InstantID

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

来源:机器之心

相关新闻

5条笔记涨粉45万,“国翠儿”靠科普国风爆红小红书;“小潮院长”B站开小号,一条视频涨粉76万 | 涨粉周榜网易员工内部群怼丁磊:人人陪你演戏点赞;李彦宏:开源模型是智商税;小红书再裁员:人效比只能达到拼多多的一半 | AI周报《墨雨云间》热播,王星越抖音一周涨粉67万;“霸气甜妹爱拆卡”小红书涨粉8万 | 涨粉周榜新晋开源顶流模型 Llama 3.1 被开发者赞爆!小扎拿苹果“开刀”反对闭源厂商:AI 不要“苹果税”!在阿勒泰,我读懂了那个“被困在小红书里”的县城高中生基金经理“偷偷”开个人小红书号,不到一天秒删贴,合规的边界在哪里?小红书上的「黄人饭」,正在吊打中产白女健康餐曝光N号房的96年女孩消失了:小红书上追捧“韩女”,是场彻头彻尾的悲剧上万“离职博主”冲进小红书,谁拿到了流量密码?小红书上的投胎「新顶配」:东北中产独生女“沙拉被做成盖浇饭”,小红书女孩把这家轻食捧上神坛小红书百万点赞,杨幂贡献了开年最牛穿搭31岁,凌晨2点搜小红书“父母离婚怎么办?”​被嘲“普女”17年,40岁的吴昕在小红书“洗白”朱啸虎押注的AI公司被围攻:领导多次让员工“去死”;小红书激励不再与职级挂钩;谷歌前CEO:AI创业可先“偷”后处理|AI周报难难难!保时捷44万卖不动、“全网最低价”难救618、普华永道被“拉黑”、云南白药失去“巴菲特”、小红书挖人挖崩自己……被小红书怒骂的北美“林生斌”:一个高知女留学生,和她的吸血鬼老公上网有门槛了!微信淘宝小红书等启动「网络身份证」试点小红书上的中产女孩,都梦想“成为白女”小红书上的七万块暑假账单,刺痛了多少「寒门父母」?小红书上第一批发疯的中产,开始流行吃「野人饭」了“人口出生率今年或迎小阳春”冲上热搜,2024年有望出现人口总数反弹拐点?小红书4万点赞:孩子问我啥叫把车窗“摇”下来周星驰短剧开播,“九五二七剧场”单月涨粉111万;“一只静猪”小红书单月涨粉17万 | 涨粉周榜
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。