stable diffusion 量化学习笔记

文章目录

一、一些tensorRT背景及使用介绍

1)深度学习介绍

  • 简单学习介绍量化背景

    补充

    1)tensorFlow python版本其实是调用的TensorFlow C的接口
    2)libtorch其实是pytorch的C++版本
    3)cublas是实现矩阵相乘的功能
    4)cudnn主要实现dnn上的一些算子功能,例如卷积等
    5)不同NVIDIA显卡架构间不兼容,同代显卡基本是同架构

2)TensorRT优化策略介绍

  • 优化策略

    1、低精度优化 :int8 int16
    2、Kernel自动调优
    例如:cublas gemm多种实现:①不用shared memory ;②小矩阵相乘;③使用额外显存的策略
    3、算子融合:例如:
    relu+bias+1x1 conv =1x1 CBR
    4、多流运行
    5、显存优化

3)TensorRT基础使用流程

  • 代码使用流程

4)dynamic shape 模式

  • 背景
    ①TensorRT 6.0之后 explicit(显式)batch支持动态batchsize
    ②CV的图片基本都是固定大小,而NLP和speech语音很多都是不固定大小的
  • 思路
    1)build engine阶段设置:
    ①用createNetworkV2设置显示batchsize
    ②设置最大batchsize
    ③设置优化profile选项,选择最大、最常用、最小的数据维度(类似,15s\20s\30s的语音)

    2)infer推理阶段
    ①每次推理设置输出的数据维度
    ②检查输入的数据维度是否符合需求
    ③开启推理

5)TensorRT模型转换

①onnx:一键解析pytorch转为onnx,不用像API那样一层一层构建onnx

②torch2trt:pytorch直接转为trt

③TensorFlow:谷歌出品,不用pytorch,tf直接转为trt(tf2tensorrt)

④Tencent Forward:支持pytorch\onnx\tf直接转为trt,接口简单

二、实操

1)编译tensorRT开源代码运行SampleMNIST

相关推荐
巴伦是只猫18 分钟前
【机器学习笔记Ⅰ】11 多项式回归
笔记·机器学习·回归
DKPT4 小时前
Java桥接模式实现方式与测试方法
java·笔记·学习·设计模式·桥接模式
巴伦是只猫6 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
好好研究6 小时前
学习栈和队列的插入和删除操作
数据结构·学习
新中地GIS开发老师7 小时前
新发布:26考研院校和专业大纲
学习·考研·arcgis·大学生·遥感·gis开发·地理信息科学
SH11HF8 小时前
小菜狗的云计算之旅,学习了解rsync+sersync实现数据实时同步(详细操作步骤)
学习·云计算
Frank学习路上8 小时前
【IOS】XCode创建firstapp并运行(成为IOS开发者)
开发语言·学习·ios·cocoa·xcode
Chef_Chen9 小时前
从0开始学习计算机视觉--Day07--神经网络
神经网络·学习·计算机视觉
X_StarX11 小时前
【Unity笔记02】订阅事件-自动开门
笔记·学习·unity·游戏引擎·游戏开发·大学生
MingYue_SSS11 小时前
开关电源抄板学习
经验分享·笔记·嵌入式硬件·学习