【光线重塑技术】小姐姐,美得不可方物——lllyasviel/ic-light

在英伟达自18年宣布光追技术之后,RTX显卡也成了目前Steam游戏的常客。就连 AMD、Intel 和 Apple Silicon 都宣布要在GPU上支持光追算法。这次我要介绍的是huggingface上比较火的relight技术------ ic-light

介绍

IC-Light 是一个操纵图像照明的项目。

IC-Light "是 "Imposing Consistent Light "的缩写(我们将在本页末尾对此进行简要介绍)。

目前,我们发布了两类模型:文本条件重照明模型和背景条件模型。这两种模型都将前景图像作为输入。

github.com/lllyasviel/...

安装

显存大小:能支持 sdxl 就够了

bash 复制代码
git clone https://github.com/lllyasviel/IC-Light.git
cd IC-Light
conda create -n iclight python=3.10
conda activate iclight
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt
python gradio_demo.py

效果

Prompt: beautiful woman, detailed face, warm atmosphere, at home, bedroom

Lighting Preference: Left

Prompt: beautiful woman, detailed face, sunshine from window

Lighting Preference: Left

Prompt: beautiful woman, detailed face, sunshine, outdoor, warm atmosphere

Lighting Preference: Left

Prompt: beautiful woman, detailed face, shadow from window

Lighting Preference: Left

营造一致的光线

在 HDR 空间中,照明的特性是所有光传输都是独立的。

因此,混合不同光源的外观等同于混合光源的外观:

以上述灯光舞台为例,"外观混合物 "和 "光源混合物 "的两幅图像是一致的(理想情况下,在 HDR 空间中数学等价)。

在训练重新照明模型时,我们强加了这种一致性(使用潜空间中的 MLP)。

因此,模型能够产生高度一致的重光效果,其一致性甚至可以将不同的重光效果合并为法线贴图!尽管这些模型都是潜扩散模型。

也有网友说希望ComfyUI也能支持就更好了。

相关推荐
985小水博一枚呀8 分钟前
【深度学习滑坡制图|论文解读3】基于融合CNN-Transformer网络和深度迁移学习的遥感影像滑坡制图方法
人工智能·深度学习·神经网络·cnn·transformer
AltmanChan9 分钟前
大语言模型安全威胁
人工智能·安全·语言模型
985小水博一枚呀13 分钟前
【深度学习滑坡制图|论文解读2】基于融合CNN-Transformer网络和深度迁移学习的遥感影像滑坡制图方法
人工智能·深度学习·神经网络·cnn·transformer·迁移学习
数据与后端架构提升之路22 分钟前
从神经元到神经网络:深度学习的进化之旅
人工智能·神经网络·学习
爱技术的小伙子28 分钟前
【ChatGPT】如何通过逐步提示提高ChatGPT的细节描写
人工智能·chatgpt
深度学习实战训练营2 小时前
基于CNN-RNN的影像报告生成
人工智能·深度学习
昨日之日20064 小时前
Moonshine - 新型开源ASR(语音识别)模型,体积小,速度快,比OpenAI Whisper快五倍 本地一键整合包下载
人工智能·whisper·语音识别
浮生如梦_4 小时前
Halcon基于laws纹理特征的SVM分类
图像处理·人工智能·算法·支持向量机·计算机视觉·分类·视觉检测
深度学习lover4 小时前
<项目代码>YOLOv8 苹果腐烂识别<目标检测>
人工智能·python·yolo·目标检测·计算机视觉·苹果腐烂识别
热爱跑步的恒川5 小时前
【论文复现】基于图卷积网络的轻量化推荐模型
网络·人工智能·开源·aigc·ai编程