解决2080Ti使用节点ComfyUI-PuLID-Flux-Enhanced中遇到的问题

使用蓝大的工作流《一键同时换头、换脸、发型、发色之双pulid技巧

刚开始遇到的是不支持bf16的错误

根据《bf16 is only supported on A100+ GPUs #33》中提到,修改pulidflux.py中的dtype 为

dtype = torch.float16 后,出现新的错误,这个新错误可能是由于加载模型的节点改变而造成的(见后面模型加载节点对模型dtype的转换可知):

KSampler

expected scalar type Float but found Half

问chatgpt结果如下:

然后发现flux类的模型dtype如下:

flux1-dev-fp8-e4m3fn.safetensors

dtype is ---->torch.float8_e4m3fn

flux1-fill-dev_fp8.safetensors

dtype is ---->torch.float8_e4m3fn

flux1-fill-dev.safetensors

dtype is ---->torch.bfloat16

flux1-dev.safetensors

dtype is ---->torch.float16

flux1-fill-dev-Q4_1.gguf

dtype is ---->torch.bfloat16

因为在加载模型时,进行了dtype转换:

Loading PuLID-Flux model.

model weight dtype torch.float8_e4m3fn, manual cast: torch.float32

model_type FLUX
Loading PuLID-Flux model.

model weight dtype torch.float16, manual cast: None

model_type FLUX

gguf qtypes: F32 (471), Q4_1 (304), F16 (5)

model weight dtype torch.bfloat16, manual cast: torch.float32

model_type FLUX

上面加载模型的节点输出信息,在comfyui核心代码 D:\AI\ComfyUI\comfy\model_base.py中的语句如下:

复制代码
   logging.info("model weight dtype {}, manual cast: {}".format(self.get_dtype(), self.manual_cast_dtype))

所以数据类型torch.float8_e4m3fn, torch.float8_e5m2, torch.bfloat16只能适配fp32,于是修改pulidflux.py中相关代码如下,问题解决,运行正常,结果正常:

复制代码
    def apply_pulid_flux(self, model,.....):
        .......
        # For 8bit use bfloat16 (because ufunc_add_CUDA is not implemented)
        # For 2080Ti use float16 or float32 (because 2080ti not support bf16)
        if dtype in [torch.float8_e4m3fn, torch.float8_e5m2, torch.bfloat16]:
            #dtype = torch.bfloat16
            dtype = torch.float32

当然,由bf16变为fp32后,显存占用肯定就大了。

注意,当第2次运行时(准确来说是没触发Apply PuLID Flux重新加载运行,也即在这条链路上没有发生变动,例如只改变了提示词),依然会出现错误:KSampler expected scalar type Float but found Half,需要卸载模型及释放节点缓存,重新运行,蓝大的工作流,使用了2次Apply PuLID Flux节点而且加载的模型不一样,如果只使用1个Apply PuLID Flux节点,估计没有这个问题。

相关推荐
留意_yl9 分钟前
量化感知训练(QAT)流程
人工智能
山烛26 分钟前
KNN 算法中的各种距离:从原理到应用
人工智能·python·算法·机器学习·knn·k近邻算法·距离公式
盲盒Q36 分钟前
《频率之光:归途之光》
人工智能·硬件架构·量子计算
墨染点香1 小时前
第七章 Pytorch构建模型详解【构建CIFAR10模型结构】
人工智能·pytorch·python
go54631584651 小时前
基于分组规则的Excel数据分组优化系统设计与实现
人工智能·学习·生成对抗网络·数学建模·语音识别
茫茫人海一粒沙1 小时前
vLLM 的“投机取巧”:Speculative Decoding 如何加速大语言模型推理
人工智能·语言模型·自然语言处理
诗酒当趁年华1 小时前
【NLP实践】二、自训练数据实现中文文本分类并提供RestfulAPI服务
人工智能·自然语言处理·分类
静心问道1 小时前
Idefics3:构建和更好地理解视觉-语言模型:洞察与未来方向
人工智能·多模态·ai技术应用
sheep88881 小时前
AI与区块链Web3技术融合:重塑数字经济的未来格局
人工智能·区块链
奋进的孤狼2 小时前
【Spring AI】阿里云DashScope灵积模型
人工智能·spring·阿里云·ai·云计算