算法学习-2024.8.16

一、Tensorrt学习补充

TensorRT支持INT8和FP16的计算。 深度学习网络在训练时,通常使用 32 位或 16 位数据。TensorRT则在网络的推理时选用不这么高的精度,达到加速推断的目的

TensorRT对于网络结构进行了重构,把一些能够合并的运算合并在了一起,针对GPU的特性做了优化。

一个深度学习模型,在没有优化的情况下,比如一个卷积层、一个偏置层和一个reload层,这三层是需要调用三次cuDNN对应的API,但实际上这三层的实现完全是可以合并到一起的,TensorRT会对一些可以合并网络进行合并。

相关推荐
碣石潇湘无限路40 分钟前
【AI篇】当Transformer模型开始学习《孙子兵法》
人工智能·学习
future14122 小时前
C#每日学习日记
java·学习·c#
碎叶城李白4 小时前
若依学习笔记1-validated
java·笔记·学习·validated
im_AMBER4 小时前
学习日志05 python
python·学习
真的想上岸啊6 小时前
学习C++、QT---18(C++ 记事本项目的stylesheet)
开发语言·c++·学习
rui锐rui6 小时前
大数据学习2:HIve
大数据·hive·学习
凛铄linshuo7 小时前
爬虫简单实操2——以贴吧为例爬取“某吧”前10页的网页代码
爬虫·python·学习
大春儿的试验田8 小时前
高并发收藏功能设计:Redis异步同步与定时补偿机制详解
java·数据库·redis·学习·缓存
金色光环9 小时前
【Modbus学习笔记】stm32实现Modbus
笔记·stm32·学习
THMOM919 小时前
TinyWebserver学习(9)-HTTP
网络协议·学习·http