【光线重塑技术】小姐姐,美得不可方物——lllyasviel/ic-light

在英伟达自18年宣布光追技术之后,RTX显卡也成了目前Steam游戏的常客。就连 AMD、Intel 和 Apple Silicon 都宣布要在GPU上支持光追算法。这次我要介绍的是huggingface上比较火的relight技术------ ic-light

介绍

IC-Light 是一个操纵图像照明的项目。

IC-Light "是 "Imposing Consistent Light "的缩写(我们将在本页末尾对此进行简要介绍)。

目前,我们发布了两类模型:文本条件重照明模型和背景条件模型。这两种模型都将前景图像作为输入。

github.com/lllyasviel/...

安装

显存大小:能支持 sdxl 就够了

bash 复制代码
git clone https://github.com/lllyasviel/IC-Light.git
cd IC-Light
conda create -n iclight python=3.10
conda activate iclight
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt
python gradio_demo.py

效果

Prompt: beautiful woman, detailed face, warm atmosphere, at home, bedroom

Lighting Preference: Left

Prompt: beautiful woman, detailed face, sunshine from window

Lighting Preference: Left

Prompt: beautiful woman, detailed face, sunshine, outdoor, warm atmosphere

Lighting Preference: Left

Prompt: beautiful woman, detailed face, shadow from window

Lighting Preference: Left

营造一致的光线

在 HDR 空间中,照明的特性是所有光传输都是独立的。

因此,混合不同光源的外观等同于混合光源的外观:

以上述灯光舞台为例,"外观混合物 "和 "光源混合物 "的两幅图像是一致的(理想情况下,在 HDR 空间中数学等价)。

在训练重新照明模型时,我们强加了这种一致性(使用潜空间中的 MLP)。

因此,模型能够产生高度一致的重光效果,其一致性甚至可以将不同的重光效果合并为法线贴图!尽管这些模型都是潜扩散模型。

也有网友说希望ComfyUI也能支持就更好了。

相关推荐
yusaisai大鱼8 分钟前
TensorFlow如何调用GPU?
人工智能·tensorflow
珠海新立电子科技有限公司3 小时前
FPC柔性线路板与智能生活的融合
人工智能·生活·制造
IT古董3 小时前
【机器学习】机器学习中用到的高等数学知识-8. 图论 (Graph Theory)
人工智能·机器学习·图论
曼城周杰伦3 小时前
自然语言处理:第六十三章 阿里Qwen2 & 2.5系列
人工智能·阿里云·语言模型·自然语言处理·chatgpt·nlp·gpt-3
余炜yw4 小时前
【LSTM实战】跨越千年,赋诗成文:用LSTM重现唐诗的韵律与情感
人工智能·rnn·深度学习
莫叫石榴姐4 小时前
数据科学与SQL:组距分组分析 | 区间分布问题
大数据·人工智能·sql·深度学习·算法·机器学习·数据挖掘
如若1234 小时前
利用 `OpenCV` 和 `Matplotlib` 库进行图像读取、颜色空间转换、掩膜创建、颜色替换
人工智能·opencv·matplotlib
YRr YRr5 小时前
深度学习:神经网络中的损失函数的使用
人工智能·深度学习·神经网络
ChaseDreamRunner5 小时前
迁移学习理论与应用
人工智能·机器学习·迁移学习
Guofu_Liao5 小时前
大语言模型---梯度的简单介绍;梯度的定义;梯度计算的方法
人工智能·语言模型·矩阵·llama