stable diffusion实践操作-hypernetworks

系列文章目录

本文专门开一节写hypernetworks的内容,在看之前,可以同步关注:
stable diffusion实践操作


提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录


前言

`本章注意要介绍Hypernetwork,也叫做超网络,下面是一个原理概述。


一、hypernetworks是什么?

1 能做什么?

中文名字叫超网络,功能和embedding,lora类似,都是对生成的图片进行针对性的调整,小白可以理解为低配版本的lora。

因为hypernetworks主要用来训练画风,训练难度较大,很有可能被后出现的lora所替代,不过人家既然能坚持到现在,说明也有它的两把刷子。我觉得它最重要,也最好的功能就是对画面风格的转换。

下面这个就是把漫画风格转换为像素风格。

除了画风,它其实也可以训练人物和物品,比如电影角色,但是大家为什么用的少呢,它做到了神似,但是想要高精度还原的话,还是要借助于lora.

2 原理

SD的原理可以这样理解,我们发送一段文本到SD中,然后输出一张符合预期的图片。

embedding就作用于编码器中,影响最后的输出。

在整个运算当中,所有的计算都是在diffusion模型中进行,这个diffusion就是一种神经网络模型。

超网络如下图,通过控制神经网络的权重,最后来完成某种风格的图片输出。

3 与其它区别

总结如下

二、如何使用

1 下载与存放

下载后存放地址:sd-webui-aki-v4.2\models\hypernetworks

2 如何使用

和lora比较类似,hypernet:名称:权重,提示词

bash 复制代码
<hypernet:Multi-waifu-mix_v1.0:1>,alice zuberg

具体细节可以看下图

3 注意事项

因为超网络会影响模型权重,所以如果想要用好超网络,需要遵从以下几点要求:



三、收集到的模型


下载链接:

国内的是:https://www.liblibai.com

国外的是:https://civitai.com

下载后存放地址:sd-webui-aki-v4.2\models\hypernetworks

序号 名称 说明
1 Multi-waifu-mix 漫画女孩
2 $1
导3 $1

1.1 Multi-waifu-mix

下载链接:https://www.liblibai.com/modelinfo/20ad3e989d47d74745ccf14bcc73c411

基础模型:SD1.5(AWPainting_v1.2_liblib_sd15.safetensors)

触发词语:根据角色不同来确定

正面提示词:

bash 复制代码
fantasy,landscape,best quality,highly detailed,
<hypernet:Multi-waifu-mix_v1.0:1>,1girl,esdeath \(genshin impact\),

反面提示词:

bash 复制代码
lowres,bad anatomy,bad hands,text,error,missing fingers,
extra digit,fewer digits,cropped,worst quality,
low quality,normal quality,jpeg artifacts,signature,
watermark,username,blurry,artist name,

该模型包含了很多角色,可以根据需要进行挑选:

bash 复制代码
V1.0 model containing 75 characters:
aisaka taiga
alice zuberg
altina orion
angela balzac
angelina kudou shields
aqua (konosuba)
ayanami (azur lane)
black heart
darkness (konosuba)
echidna (re:zero)
elaina (majo no tabitabi)
emilia (re:zero)
eris greyrat
eula (genshin impact)
fujibayashi kyou
furuhashi fumino
gokou ruri
gotou hitori
hiiragi shinoa
himeragi yukina
hiroi kikuri
holo
...

|----------------------------------------------------------------------------------------------------------------------|-----------------------------------------------------------------------------------------------------------------|
| 图1 vladilena millize | 图2 alice zuberg |

总结

以上就是今天要讲的内容。

相关推荐
qq_398898932 天前
【简单三步】Stable diffusion Webai本地部署无法加载模型并报openai/clip-vit-large-patch14错误的解决方法
stable diffusion
ai_xiaogui2 天前
AIStarter用户与创作者模式详解:一键管理Stable Diffusion项目!
人工智能·stable diffusion·一键发布ai项目·熊哥aistarter教程·开发者必备aistarter
一禅(OneZen)3 天前
「Windows/Mac OS」AIGC图片生成视频 ,webui + stable-diffusion环境部署教程
windows·stable diffusion
ai_xiaogui5 天前
一键部署AI工具!用AIStarter快速安装ComfyUI与Stable Diffusion
人工智能·stable diffusion·部署ai工具·ai应用市场教程·sd快速部署·comfyui一键安装
sigmoidAndRELU6 天前
读Vista
笔记·stable diffusion·世界模型
修炼室21 天前
Stable Diffusion WebUI 本地部署完整教程
stable diffusion
NetX行者21 天前
Stable Diffusion:开启AI图像生成新纪元
人工智能·stable diffusion
这是一个懒人1 个月前
SD和comfyui常用模型介绍和下载
stable diffusion·comfyui·模型下载
有点小帅得平哥哥1 个月前
Stable Diffusion WebUI 本地部署指南(Windows 11 + RTX 4060 Ti)
stable diffusion
CoovallyAIHub1 个月前
突破异常数据瓶颈!AnomalyAny:一句话+一张图,零样本生成任意异常图像
计算机视觉·stable diffusion