Bendi新闻
>
小红书开源「InstantID」效果炸裂,被Yann LeCun点赞,迅速蹿上Github热榜
小红书开源「InstantID」效果炸裂,被Yann LeCun点赞,迅速蹿上Github热榜
9月前
机器之心发布
机器之心编辑部
只需一张照片,整个过程无需训练 LoRA 模型,多风格 AI 写真即刻呈现!
ID Embedding:团队利用预训练的面部识别模型代替 CLIP 来提取语义人脸特征,并使用可训练的投影层,将这些特征映射到文本特征空间,形成 Face Embedding,具有丰富的语义信息,包括如面部特征、表情、年龄等,为后续的图像生成提供了坚实的基础。 Image Adapter:引入一个轻量级的适配模块,将提取的身份信息与文本提示结合起来。这个模块通过解耦的交叉注意力机制,使得图像和文本能够独立地影响生成过程,从而在保持身份信息的同时,允许用户对图像风格进行精细控制,实现「双赢」。 IdentityNet:小红书提出了一个名为 IdentityNet 的网络,是 InstantID 的核心部分。它通过强语义条件(如面部特征的详细描述)和弱空间条件(如面部关键点的位置)来编码参考面部图像的复杂特征。在 IdentityNet 中,生成过程完全由 Face Embedding 引导,无需任何文本信息。仅更新新添加的模块,而预先训练的文本到图像模型保持冻结以确保灵活性。
论文地址:https://arxiv.org/abs/2401.07519 InstantID 主页:https://instantid.github.io/ Demo 尝鲜:https://huggingface.co/spaces/InstantX/InstantID
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:[email protected]
微信扫码关注该文公众号作者
来源:机器之心
相关新闻
5条笔记涨粉45万,“国翠儿”靠科普国风爆红小红书;“小潮院长”B站开小号,一条视频涨粉76万 | 涨粉周榜网易员工内部群怼丁磊:人人陪你演戏点赞;李彦宏:开源模型是智商税;小红书再裁员:人效比只能达到拼多多的一半 | AI周报《墨雨云间》热播,王星越抖音一周涨粉67万;“霸气甜妹爱拆卡”小红书涨粉8万 | 涨粉周榜新晋开源顶流模型 Llama 3.1 被开发者赞爆!小扎拿苹果“开刀”反对闭源厂商:AI 不要“苹果税”!在阿勒泰,我读懂了那个“被困在小红书里”的县城高中生基金经理“偷偷”开个人小红书号,不到一天秒删贴,合规的边界在哪里?小红书上的「黄人饭」,正在吊打中产白女健康餐曝光N号房的96年女孩消失了:小红书上追捧“韩女”,是场彻头彻尾的悲剧上万“离职博主”冲进小红书,谁拿到了流量密码?小红书上的投胎「新顶配」:东北中产独生女“沙拉被做成盖浇饭”,小红书女孩把这家轻食捧上神坛小红书百万点赞,杨幂贡献了开年最牛穿搭31岁,凌晨2点搜小红书“父母离婚怎么办?”被嘲“普女”17年,40岁的吴昕在小红书“洗白”朱啸虎押注的AI公司被围攻:领导多次让员工“去死”;小红书激励不再与职级挂钩;谷歌前CEO:AI创业可先“偷”后处理|AI周报难难难!保时捷44万卖不动、“全网最低价”难救618、普华永道被“拉黑”、云南白药失去“巴菲特”、小红书挖人挖崩自己……被小红书怒骂的北美“林生斌”:一个高知女留学生,和她的吸血鬼老公上网有门槛了!微信淘宝小红书等启动「网络身份证」试点小红书上的中产女孩,都梦想“成为白女”小红书上的七万块暑假账单,刺痛了多少「寒门父母」?小红书上第一批发疯的中产,开始流行吃「野人饭」了“人口出生率今年或迎小阳春”冲上热搜,2024年有望出现人口总数反弹拐点?小红书4万点赞:孩子问我啥叫把车窗“摇”下来周星驰短剧开播,“九五二七剧场”单月涨粉111万;“一只静猪”小红书单月涨粉17万 | 涨粉周榜