【个人开源】——从零开始在高通手机上部署sd(一)

代码:https://github.com/chenjun2hao/qualcomm.sd

从零基础开始,在自己的高通手机(骁龙8 gen1+)上用NPU跑文生图stable diffusion模型。包含:

  • 高通qnn下载安装
  • sd模型浮点/量化导出
  • 在高通手机上用cpu跑浮点模型,htp跑量化模型

1. python依赖安装

主要对齐transformers, diffusers的版本,其他参考requirements.txt

复制代码
pip install transformers==4.40.0 diffusers==0.32.2

2. python浮点模型测试

bash 复制代码
# 1.下载sd 模型
git clone https://hf-mirror.com/segmind/portrait-finetuned

# 2.通过diffuser的pipe测试模型
cd $PROJECT_HOME
python sd_portrait_diffpip.py

# 3.通过自己实现的pipe测试模型
python sd_portrait_ownpip.py

结果可视化:

3. 导出浮点模型/x64 cpu模拟推理/高通cpu推理

高通libQnnCpu.so好像只支持浮点模型,不支持量化模型(可能后续的硬件,会支持)。

3.1 高通qnn安装

coming soon ...

3.2 导出浮点模型

复制代码
cd $PROJECT_HOME
python export_model.py --export_quant_model false

导出的模型在qnn_models/xxx下. eg: qnn_models/text_encoder_float/x86_64-linux-clang/libtext_encoder.so是x64上模拟推理时需要的模型。qnn_models/text_encoder_float/aarch64-android/libtext_encoder.so是push到android手机上使用的模型

3.3 x64 cpu模拟推理

参考项目readme运行:qualcomm.ai

3.4 高通cpu推理

将所有依赖的东西push到android手机上。参考项目readme运行:qualcomm.ai

4. 导出量化模型/高通htp推理

4.1 生成量化用数据

bash 复制代码
cd $PROJECT_HOME
python make_calibration_data.py

4.2 导出量化模型

4.3 x64模拟htp推理

高通在x64平台上,有模拟HTP硬件执行的软件库,但是sd模型运行太慢了。

4.4 高通HTP推理

将所有依赖的东西push到android手机上。参考项目readme运行:qualcomm.ai

5. reference

  1. StableDiffusionOnDevice
相关推荐
鲸鹏芯海微电子科技 (上海) 有限公司3 小时前
手机直连卫星,射频前端到底要解决什么?
前端·智能手机·低轨卫星·謓泽·鲸鹏芯海·毫米波射频·相控阵芯片
syso_稻草人1 天前
qwen-image-2.1 姿态控制拆解:SDPose 提骨架 + Fun-ControlNet-Union 锁姿势,换人换景不换姿势
人工智能·stable diffusion·prompt·提示词优化·qwen-image
开开心心就好1 天前
显示器关不掉怎么办,用小工具一键息屏
算法·智能手机·pdf·计算机外设·ocr·lua·1024程序员节
2401_878851012 天前
微信小程序实战:掌握“手机状态”感知与设备 API 全解析
智能手机·微信小程序·notepad++
柠檬树下小码农2 天前
QNX stress-ng工具编译
cpu·高通·qnx·stress-ng
AI_Gump3 天前
AutoGLM 两年演进深度解读:一篇讲透智谱的手机 Agent 路线
人工智能·智能手机
开开心心就好4 天前
两张表格数据对比工具,不用写函数也能查
算法·spring·智能手机·pdf·电脑·intellij-idea·音视频
轩哥谈芯4 天前
不用电池也能动:手机NFC给电机供电
智能手机
syso_稻草人6 天前
qwen-image-2.1 PE 增强编辑:QwenImage21_EditPromptRewrite 一句话中文扩写成完整编辑指令
人工智能·stable diffusion·prompt·comfyui·qwen-image2.1
AI_Gump7 天前
Harness篇|DeepSeek Harness 上手机:五条安卓移植路线与 App 内 Linux 拆解
android·linux·人工智能·智能手机·deepseek