stable diffusion WEBUI Brief summary

1,rembg(去除背景-》蒙版)

python 复制代码
import rembg
from PIL import Image, ImageOps
import numpy as np

# 打开图像
input_path = "./p_6258838.jpg"
input_image = Image.open(input_path)

# 移除背景,得到带有透明背景的图像
output_image = rembg.remove(input_image)

# 将 PIL 图像对象转换为 NumPy 数组,以便进一步处理
output_image_np = np.array(output_image)

# 检查是否有 alpha 通道(4通道图像:RGBA),并生成蒙版
if output_image_np.shape[2] == 4:
    # 提取 alpha 通道,alpha 通道的值为 0 的部分为透明,255 为不透明
    alpha_channel = output_image_np[:, :, 3]

    # 转换为黑白蒙版,透明的部分设为黑色(0),不透明部分设为白色(255)
    mask = np.where(alpha_channel > 0, 255, 0).astype(np.uint8)

    # 将蒙版转换回 PIL.Image 对象
    mask_image = Image.fromarray(mask, mode='L')  # 'L' 表示灰度图像

    # 显示或保存蒙版
    mask_image.show()  # 显示蒙版图像
    # mask_image.save("mask_image.png")  # 如果需要,可以保存蒙版图像
else:
    print("图像没有 alpha 通道,可能不是去除背景后的透明图像。")

2,关于inpatint anything 和 background remove 问题

如果安装了插件再WEBUI上面没有显示,说明sd-webui-controlnet 没有更新,我的操作是将sd-webui-controlnet文件夹直接删除,重新去GITHUB找新版本的,装好后需要重新运行代码,加载时长可能有点长因为sd-webui-controlnet需要重新安装新的包,切记关闭FQ代理。

3,关于stable diffusion webui 安装提示

初始安装的时候,代码运行不起来主要问题还是安装github上的包,没有代理。开启代理后直接可以用git直接拉下来就解决了。其次就是显卡和cuda ,torch , torchversion的问题。

python 复制代码
ubuntu 22.04
cuda 11.4
pip 包





--prefix=/usr/local/gcc-12
https%3A//repo.continuum.io/archive/Anaconda3-5.3.1-Linux-x86_64.sh

ubuntu 22.04
cuda 11.4
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 -f https://download.pytorch.org/whl/torch_stable.html

conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=10.2 -c pytorch

pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0 --extra-index-url https://download.pytorch.org/whl/cu113

pip install torch==1.12.0+cu116 torchvision==0.13.0+cu116 torchaudio==0.12.0 -f https://download.pytorch.org/whl/torch_stable.html

bash webui.sh --skip-torch-cuda-test --no-half --precision full --use-gpu all --listen

.\webui.bat --skip-torch-cuda-test --no-half --precision full --use-cpu all --listen  

deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse

nvcc -V

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2021 NVIDIA Corporation
Built on Thu_Nov_18_09:45:30_PST_2021
Cuda compilation tools, release 11.5, V11.5.119
Build cuda_11.5.r11.5/compiler.30672275_0

nvidia-560.35.03


NVIDIA-Linux-x86_64-470.256.02.run

pip install open_clip_torch
解决办法:
1.sd下创建 openai 文件夹
2 git clone https://www.modelscope.cn/AI-ModelScope/clip-vit-large-patch14.git
3, .\webui.bat --skip-torch-cuda-test --no-half --precision full --use-cpu all --gradio-auth root:123456 --api --api-auth root:123456 --listen --enable-insecure-extension-access 

以上是我的梳理,主要坑点还是在显卡的驱动问题上面,还有cuda对应的torch版本上面

4,关于比较好用的模型

麦菊模型,比较好用的lora

电商侘寂风格背景图模型-LoRA-丶-LiblibAI

麦橘V7专用嵌入式-Textual Inversion-谢源鑫Vesper-LiblibAI

相关推荐
洛阳泰山1 天前
关于AI绘画 | Stable Diffusion 技术专栏推荐文章
ai作画·stable diffusion
Sayello2 天前
Stable diffusion inference 多卡并行
stable diffusion
老菜鸟YDZ3 天前
Stable Diffusion视频插件Ebsynth Utility使用方法
stable diffusion·aigc·ai绘图·插件·1024程序员节·ebsynth utility
代码小白的成长3 天前
Windows: 如何实现CLIPTokenizer.from_pretrained`本地加载`stable-diffusion-2-1-base`
stable diffusion
AI极客菌3 天前
AI绘画开源王者归来,Stable Diffusion 3.5 AI绘画模型开源发布
人工智能·ai作画·stable diffusion·midjourney·flux·sd·人工智能作画
AIGC破防黑吗喽4 天前
ComflyUI零基础学习
学习·ui·ai·stable diffusion·midjourney·ai绘画·1024程序员节
BuluAI5 天前
Stable Diffusion 3.5发布:图像生成新纪元,多模态AI的突破!
人工智能·stable diffusion·1024程序员节
AI绘画小337 天前
最新行业动态丨600+自定义节点可用!ComfyUI V1 发布桌面版!
人工智能·ai作画·stable diffusion·aigc·comfyui