stable diffusion WEBUI Brief summary

1,rembg(去除背景-》蒙版)

python 复制代码
import rembg
from PIL import Image, ImageOps
import numpy as np

# 打开图像
input_path = "./p_6258838.jpg"
input_image = Image.open(input_path)

# 移除背景,得到带有透明背景的图像
output_image = rembg.remove(input_image)

# 将 PIL 图像对象转换为 NumPy 数组,以便进一步处理
output_image_np = np.array(output_image)

# 检查是否有 alpha 通道(4通道图像:RGBA),并生成蒙版
if output_image_np.shape[2] == 4:
    # 提取 alpha 通道,alpha 通道的值为 0 的部分为透明,255 为不透明
    alpha_channel = output_image_np[:, :, 3]

    # 转换为黑白蒙版,透明的部分设为黑色(0),不透明部分设为白色(255)
    mask = np.where(alpha_channel > 0, 255, 0).astype(np.uint8)

    # 将蒙版转换回 PIL.Image 对象
    mask_image = Image.fromarray(mask, mode='L')  # 'L' 表示灰度图像

    # 显示或保存蒙版
    mask_image.show()  # 显示蒙版图像
    # mask_image.save("mask_image.png")  # 如果需要,可以保存蒙版图像
else:
    print("图像没有 alpha 通道,可能不是去除背景后的透明图像。")

2,关于inpatint anything 和 background remove 问题

如果安装了插件再WEBUI上面没有显示,说明sd-webui-controlnet 没有更新,我的操作是将sd-webui-controlnet文件夹直接删除,重新去GITHUB找新版本的,装好后需要重新运行代码,加载时长可能有点长因为sd-webui-controlnet需要重新安装新的包,切记关闭FQ代理。

3,关于stable diffusion webui 安装提示

初始安装的时候,代码运行不起来主要问题还是安装github上的包,没有代理。开启代理后直接可以用git直接拉下来就解决了。其次就是显卡和cuda ,torch , torchversion的问题。

python 复制代码
ubuntu 22.04
cuda 11.4
pip 包





--prefix=/usr/local/gcc-12
https%3A//repo.continuum.io/archive/Anaconda3-5.3.1-Linux-x86_64.sh

ubuntu 22.04
cuda 11.4
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 -f https://download.pytorch.org/whl/torch_stable.html

conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=10.2 -c pytorch

pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0 --extra-index-url https://download.pytorch.org/whl/cu113

pip install torch==1.12.0+cu116 torchvision==0.13.0+cu116 torchaudio==0.12.0 -f https://download.pytorch.org/whl/torch_stable.html

bash webui.sh --skip-torch-cuda-test --no-half --precision full --use-gpu all --listen

.\webui.bat --skip-torch-cuda-test --no-half --precision full --use-cpu all --listen  

deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse

nvcc -V

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2021 NVIDIA Corporation
Built on Thu_Nov_18_09:45:30_PST_2021
Cuda compilation tools, release 11.5, V11.5.119
Build cuda_11.5.r11.5/compiler.30672275_0

nvidia-560.35.03


NVIDIA-Linux-x86_64-470.256.02.run

pip install open_clip_torch
解决办法:
1.sd下创建 openai 文件夹
2 git clone https://www.modelscope.cn/AI-ModelScope/clip-vit-large-patch14.git
3, .\webui.bat --skip-torch-cuda-test --no-half --precision full --use-cpu all --gradio-auth root:123456 --api --api-auth root:123456 --listen --enable-insecure-extension-access 

以上是我的梳理,主要坑点还是在显卡的驱动问题上面,还有cuda对应的torch版本上面

4,关于比较好用的模型

麦菊模型,比较好用的lora

电商侘寂风格背景图模型-LoRA-丶-LiblibAI

麦橘V7专用嵌入式-Textual Inversion-谢源鑫Vesper-LiblibAI

相关推荐
全息数据3 天前
DDPM代码讲解【详细!!!】
深度学习·stable diffusion·多模态·ddpm
老鱼说AI13 天前
当自回归模型遇上扩散模型:下一代序列预测模型详解与Pytorch实现
人工智能·pytorch·深度学习·神经网络·语言模型·自然语言处理·stable diffusion
我希望的一路生花18 天前
Nik Collection 6.2全新版Nik降噪锐化调色PS/LR插件
人工智能·计算机视觉·设计模式·stable diffusion·aigc
GetcharZp18 天前
玩转AI绘画,你只差一个节点式“魔法”工具——ComfyUI 保姆级入门指南
人工智能·stable diffusion
Seeklike20 天前
diffuxers学习--AutoPipeline
人工智能·python·stable diffusion·diffusers
游戏AI研究所21 天前
ComfyUI 里的 Prompt 插值器(prompt interpolation / text encoder 插值方式)的含义和作用!
人工智能·游戏·机器学习·stable diffusion·prompt·aigc
迈火23 天前
ComfyUI-3D-Pack:3D创作的AI神器
人工智能·gpt·3d·ai·stable diffusion·aigc·midjourney
Seeklike24 天前
diffusers学习--stable diffusion的管线解析
人工智能·stable diffusion·diffusers
马甲是掉不了一点的<.<25 天前
Stable Diffusion 环境配置详细指南
stable diffusion·环境配置
软件测试-阿涛25 天前
【AI绘画】Stable Diffusion webUI 常用功能使用技巧
人工智能·深度学习·计算机视觉·ai作画·stable diffusion