在线教程|图灵奖得主Yann LeCun盛赞!小红书开源InstantID,一张原图即可定制多种风格写真

不久前,一群来自小红书的 95 后工程师联合北大团队发布了开源项目「InstantID」,只需上传一张照片,这款 AI 写真神器就能轻松定制多种风格的 AI 写真,告别繁琐修图。
InstantID 一经发布就引起了广泛关注,GitHub 收藏量达到了 9.9K,图灵奖得主 Yann LeCun 也在自己的社交账号上转发了团队以其形象生成的示例,表示支持。

过去,主题驱动的文本到图像生成,通常需要在多张含有该主题(如人物、风格)的数据集上进行训练,其代表性方案包括 DreamBooth、LoRAs 等,但此类方案的高存储需求、耗时的微调过程,让很多用户望而却步,导致其无法在真实场景中得到快速应用,而 InstantID 的出现则打破了这个僵局。

InstantID 架构

InstantID 的工作原理主要分为三部分:
ID Embedding :通过预训练的面部识别模型,将语义人脸特征提取为 Face Embedding。该嵌入富含语义信息,如面部特征、表情、年龄等,为后续图像的生成提供坚实基础。
ImageAdapter :引入轻量级适配模块,将提取的身份信息与文本提示结合。通过解耦的交叉注意力机制,图像和文本能够独立地影响图像的生成,在保持身份信息的同时还可以对图像风格进行精细控制。
IdentityNet :它通过强语义条件(如面部特征的详细描述)和弱空间条件(如面部关键点的位置)来编码参考面部图像的复杂特征。生成过程由 Face Embedding 引导,无需文本信息,只需针对新添加的模块进行更新,保持预先训练文本到图像模型的冻结,确保灵活性。
把复杂留给代码,把简单留给用户! InstantID 不仅在技术上实现了零次个性化图像合成的突破,同时也在用户体验上也做到了极致的简洁和直观。无论你是设计小白还是艺术大师,都能在该平台上,轻松创造出个性化的图像。具体应用场景有:
多 ID 和多风格合成

InstantID 一键实现「跨国合作」!

风格化合成

只需输入一张人脸照片,就能生成多种具有个性化风格的 AI 写真。

逼真合成

这些图真的是合成的吗?

ID 插值

还可以将杨幂和 Taylor 的形象融合。(ps:利用该功能,还可以根据父母双方面部权重,预测未来孩子长相哦!)

新视角合成

一张原图+一张风格参考图=百变大咖

非人像合成

人物和动物融合会发生什么?

这么多风格供你挑选,小伙伴们是不是等不及来试一下啦!不要着急,HyperAI超神经已经上线了「InstantID 个性化写真生成 Demo」教程,该教程为大家搭建好了环境,点击克隆即可一键启动,快来实现你的「七十二变」吧!

公共教程地址:

https://hyper.ai/tutorials/31559

Demo 运行

  1. 登录 hyper.ai,在「教程」页面,选择「InstantID 个性化写真生成 Demo」。点击「在线运行此教程」。

2.页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。点击右下角「下一步:选择算力」。

3.跳转后,选择「NVIDIA GeForce RTX 4090 」,点击「下一步:审核」。新用户使用下方邀请链接注册,还可获得 4 小时 RTX 4090 + 5 小时CPU的免费算力时长!

HyperAI超神经专属邀请链接(直接复制到浏览器打开):https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej

4.点击「继续执行」,等待分配资源,当状态变为「运行中」后,点击「打开工作空间」。

5.在启动页新建一个终端会话,输入下面的命令。

cd InstantID

6.输入下面的命令,运行 Gradio demo。

python gradio_demo/app.py

7.当命令行出现「Running on local URL: https://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中,即可访问 InstantID 页面。请注意,用户需在实名认证后才能使用 API 地址访问功能。

效果展示

1.打开 InstantID 页面,上传人物图片,上传参考图片。其中,参考图片的作用是用来固定人物在图中的位置。

2.完善下列参数调整。

在「Prompt」提示词框内写需要生成图片的关键词,通常根据初始图片来进行提示,若上传的图片是个男人,可以写 「a man」。

点击「Eable Fast Inference with LCM」选项,如果不开生成图速度会稍微慢些。

「Style template」风格选择器,可完善提示词,里面有「Watercolor」水彩、「Line Art」线条风格等效果。

「IdentityNet strength (for fidelity)」人脸强度或 ID 强度,作用于初始导入的人物图,参数越高,生成的图片和该人物图越像,默认数值 0.8。

「Image adapter strength (for detail)」图片参考强度,作用于参考图,强度决定生成图片与参考图的相似度,默认数值 0.8。

  • 「Advanced Options」高级参数调整。

  • 「Negative Prompt」,负面提示词,可以填一些不想最终生成图片含有的内容,比如避免低质量的词等。

  • 「Number of sample steps」、「Guidance scale」、「seed」,选择默认数值即可。

  • 「Randomize seed」随机种子,打开。

  • 「Enhance non-face region」强化非面部区域,打开后会增强风格选择器的权重。

3.点击「Submit」,5 秒即可生成图片。

目前,HyperAI超神经官网已上线了数百个精选的机器学习相关教程,并整理成 Jupyter Notebook 的形式。

点击链接即可搜索相关教程及数据集:https://hyper.ai/tutorials

以上就是 HyperAI超神经本次分享的全部内容了,如果大家看到优质项目,欢迎后台留言推荐给我们!另外,我们还建立了「Stable Diffusion 教程交流群」,欢迎小伙伴们入群探讨各类技术问题、分享应用效果~
扫码加入教程交流群

若加群二维码失效,可扫描下方二维码添加神经星星微信(微信号:Hyperai01),备注「SD 教程交流群」,即可加入群聊。

相关推荐
阡之尘埃2 小时前
Python数据分析案例61——信贷风控评分卡模型(A卡)(scorecardpy 全面解析)
人工智能·python·机器学习·数据分析·智能风控·信贷风控
ClkLog-开源埋点用户分析3 小时前
ClkLog企业版(CDP)预售开启,更有鸿蒙SDK前来助力
华为·开源·开源软件·harmonyos
孙同学要努力4 小时前
全连接神经网络案例——手写数字识别
人工智能·深度学习·神经网络
Eric.Lee20214 小时前
yolo v5 开源项目
人工智能·yolo·目标检测·计算机视觉
其实吧35 小时前
基于Matlab的图像融合研究设计
人工智能·计算机视觉·matlab
丕羽5 小时前
【Pytorch】基本语法
人工智能·pytorch·python
ctrey_5 小时前
2024-11-1 学习人工智能的Day20 openCV(2)
人工智能·opencv·学习
SongYuLong的博客5 小时前
Air780E基于LuatOS编程开发
人工智能
Jina AI5 小时前
RAG 系统的分块难题:小型语言模型如何找到最佳断点?
人工智能·语言模型·自然语言处理
-派神-5 小时前
大语言模型(LLM)量化基础知识(一)
人工智能·语言模型·自然语言处理