Bendi新闻
>
小红书开源「InstantID」效果炸裂,被Yann LeCun点赞,迅速蹿上Github热榜
小红书开源「InstantID」效果炸裂,被Yann LeCun点赞,迅速蹿上Github热榜
5月前
机器之心发布
机器之心编辑部
只需一张照片,整个过程无需训练 LoRA 模型,多风格 AI 写真即刻呈现!
ID Embedding:团队利用预训练的面部识别模型代替 CLIP 来提取语义人脸特征,并使用可训练的投影层,将这些特征映射到文本特征空间,形成 Face Embedding,具有丰富的语义信息,包括如面部特征、表情、年龄等,为后续的图像生成提供了坚实的基础。 Image Adapter:引入一个轻量级的适配模块,将提取的身份信息与文本提示结合起来。这个模块通过解耦的交叉注意力机制,使得图像和文本能够独立地影响生成过程,从而在保持身份信息的同时,允许用户对图像风格进行精细控制,实现「双赢」。 IdentityNet:小红书提出了一个名为 IdentityNet 的网络,是 InstantID 的核心部分。它通过强语义条件(如面部特征的详细描述)和弱空间条件(如面部关键点的位置)来编码参考面部图像的复杂特征。在 IdentityNet 中,生成过程完全由 Face Embedding 引导,无需任何文本信息。仅更新新添加的模块,而预先训练的文本到图像模型保持冻结以确保灵活性。
论文地址:https://arxiv.org/abs/2401.07519 InstantID 主页:https://instantid.github.io/ Demo 尝鲜:https://huggingface.co/spaces/InstantX/InstantID
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:[email protected]
微信扫码关注该文公众号作者
来源:机器之心
相关新闻
5条笔记涨粉45万,“国翠儿”靠科普国风爆红小红书;“小潮院长”B站开小号,一条视频涨粉76万 | 涨粉周榜《墨雨云间》热播,王星越抖音一周涨粉67万;“霸气甜妹爱拆卡”小红书涨粉8万 | 涨粉周榜在阿勒泰,我读懂了那个“被困在小红书里”的县城高中生基金经理“偷偷”开个人小红书号,不到一天秒删贴,合规的边界在哪里?小红书上的「黄人饭」,正在吊打中产白女健康餐曝光N号房的96年女孩消失了:小红书上追捧“韩女”,是场彻头彻尾的悲剧上万“离职博主”冲进小红书,谁拿到了流量密码?小红书上的投胎「新顶配」:东北中产独生女“沙拉被做成盖浇饭”,小红书女孩把这家轻食捧上神坛小红书百万点赞,杨幂贡献了开年最牛穿搭被嘲“普女”17年,40岁的吴昕在小红书“洗白”难难难!保时捷44万卖不动、“全网最低价”难救618、普华永道被“拉黑”、云南白药失去“巴菲特”、小红书挖人挖崩自己……被小红书怒骂的北美“林生斌”:一个高知女留学生,和她的吸血鬼老公小红书上的中产女孩,都梦想“成为白女”小红书上第一批发疯的中产,开始流行吃「野人饭」了周星驰短剧开播,“九五二七剧场”单月涨粉111万;“一只静猪”小红书单月涨粉17万 | 涨粉周榜“江寻千”重现打铁花,小红书涨粉超10万;“与辉同行”抖音一周涨粉超781万 | 涨粉周榜冲上热搜!凯特王妃现身辟谣“中刀死亡”传闻!又被扒出是替身?威廉“小三”炫富全靠中国?字节跳动想造一个“小红书” 种草社区“可颂”卷土重来小红书开源跨平台播放器REDPlayer,支持多平台、多格式、多协议小红书点赞破十万,江小白的对手出现了?寒假了,每天逼孩子看10分钟“小红书”,老师都夸厉害!小红书“听劝”风靡美国,登上外媒!网友踊跃加入“爆改”行列42岁的凯特王妃,“卒”于小红书