stable diffusion 量化学习笔记

文章目录

一、一些tensorRT背景及使用介绍

1)深度学习介绍

  • 简单学习介绍量化背景

    补充

    1)tensorFlow python版本其实是调用的TensorFlow C的接口
    2)libtorch其实是pytorch的C++版本
    3)cublas是实现矩阵相乘的功能
    4)cudnn主要实现dnn上的一些算子功能,例如卷积等
    5)不同NVIDIA显卡架构间不兼容,同代显卡基本是同架构

2)TensorRT优化策略介绍

  • 优化策略

    1、低精度优化 :int8 int16
    2、Kernel自动调优
    例如:cublas gemm多种实现:①不用shared memory ;②小矩阵相乘;③使用额外显存的策略
    3、算子融合:例如:
    relu+bias+1x1 conv =1x1 CBR
    4、多流运行
    5、显存优化

3)TensorRT基础使用流程

  • 代码使用流程

4)dynamic shape 模式

  • 背景
    ①TensorRT 6.0之后 explicit(显式)batch支持动态batchsize
    ②CV的图片基本都是固定大小,而NLP和speech语音很多都是不固定大小的
  • 思路
    1)build engine阶段设置:
    ①用createNetworkV2设置显示batchsize
    ②设置最大batchsize
    ③设置优化profile选项,选择最大、最常用、最小的数据维度(类似,15s\20s\30s的语音)

    2)infer推理阶段
    ①每次推理设置输出的数据维度
    ②检查输入的数据维度是否符合需求
    ③开启推理

5)TensorRT模型转换

①onnx:一键解析pytorch转为onnx,不用像API那样一层一层构建onnx

②torch2trt:pytorch直接转为trt

③TensorFlow:谷歌出品,不用pytorch,tf直接转为trt(tf2tensorrt)

④Tencent Forward:支持pytorch\onnx\tf直接转为trt,接口简单

二、实操

1)编译tensorRT开源代码运行SampleMNIST

相关推荐
Jackyzhe3 小时前
Flink学习笔记:整体架构
笔记·flink
徒 花4 小时前
初级网安作业笔记1
笔记
kfepiza4 小时前
Debian-10编译安装Mysql-5.7.44 笔记250706
linux·数据库·笔记·mysql·debian·bash
西西西仓鼠4 小时前
python学习打卡:DAY 40 训练和测试的规范写法
学习
Magnetic_h4 小时前
【iOS】方法与消息底层分析
笔记·学习·macos·ios·objective-c·cocoa
今天背单词了吗9804 小时前
算法学习笔记:19.牛顿迭代法——从原理到实战,涵盖 LeetCode 与考研 408 例题
笔记·学习·算法·牛顿迭代法
DKPT6 小时前
Java设计模式之行为型模式(观察者模式)介绍与说明
java·笔记·学习·观察者模式·设计模式
future14127 小时前
C#进阶学习日记
数据结构·学习
lxsy8 小时前
spring-ai-alibaba 1.0.0.2 学习(十六)——多模态
人工智能·学习·ai-alibaba
xian_wwq8 小时前
【学习笔记】Nginx常用安全配置
笔记·学习·nginx