深度学习:神经网络模型的剪枝和压缩简述

深度学习的神经网路的剪枝和压缩,大致的简述,

主要采用: network slimming,瘦身网络...

深度学习网络,压缩的主要方式:

1.剪枝,nerwork pruing,

2.稀疏表示,sparse representation, 本是正态分布的,存在稀疏参数0.001等等,将接近0的缩放因子,全部摘除,

3.量化,bit precision, 低精度表示,不用浮点数,用整数,如int8、更少的bit,甚至20毫,

4.知识蒸馏,knowledge distillation,

神经网络,往往过度参数化,会对结果造成干扰和负担,所以要将他减掉,

剪枝技术介绍:

1.权重pt剪枝: 摘掉几个中间的权重,非结构化,不利于部署, 实现困难,硬件gpu也不支持,

2.神经元剪枝: 摘掉几个中间的神经元,不重要的通道,影响较小,可有可无,

network sliming,瘦身网络... 比较经典的网络剪枝方法。

原理: 不同的卷积层 ---->>> 通道缩放因子---->>> 新的卷积层。

网络初始化层中:(结构化的剪枝方法) (流程简述)

缩放因子,稀疏正则化,剪枝,微调

1.缩放因子: 参数比例,存在极小比例的缩放因子,如0.001等等,

2.稀疏正则化: 对缩放因子,进行稀疏正则化,可以自动识别不重要的通道,

3.剪枝: 具有较小缩放因子的通道将被剪枝,

4.微调: 剪枝后的紧凑模型(compact network),会精度下降,

需要微调达到正常训练网络的恢复,甚至超越!!!

网络瘦身-流程图:

初始化网络-> 通道:稀疏正则化训练 -> 剪除:小缩放因子通道 -> 微调: 剪枝后网络 -> 紧凑模型(compact network)

在, 初始化网络->紧凑模型(compact network) 之间多次,不断重复流程,迭代多次。

对于跨层链接:

正则化和预激活正则化来说,如resnet等架构,他们存在跳过的支路,BN在剪枝之前

剪完后,容易出现通道不匹配现象,不能直接相加,

必须采用: channel selection,与未被剪枝的后续通道相加,相当于多了一条连接线,

windows输入特殊符号: win+r,召唤出cmd命令行, 按下charmap,跳出特殊字符表。。。

不同的稀疏正则化,随着缩放因子λ的增大,而越来越稀疏。

但是,缩放因子λ太大会导致精度变差,后续的微调fine-tuning变难。

相关推荐
BB_CC_DD14 分钟前
四. 以Annoy算法建树的方式聚类清洗图像数据集,一次建树,无限次聚类搜索,提升聚类搜索效率。(附完整代码)
深度学习·算法·聚类
Blossom.1181 小时前
人工智能在智能家居中的应用与发展
人工智能·深度学习·机器学习·智能家居·vr·虚拟现实·多模态融合
HyperAI超神经2 小时前
12个HPC教程汇总!从入门到实战,覆盖分子模拟/材料计算/生物信息分析等多个领域
图像处理·人工智能·深度学习·生物信息·分子模拟·材料计算·vasp
进来有惊喜2 小时前
深度学习:迁移学习
python·深度学习
豆芽8192 小时前
图解YOLO(You Only Look Once)目标检测(v1-v5)
人工智能·深度学习·学习·yolo·目标检测·计算机视觉
北上ing3 小时前
从FP32到BF16,再到混合精度的全景解析
人工智能·pytorch·深度学习·计算机视觉·stable diffusion
蔗理苦3 小时前
2025-04-24 Python&深度学习4—— 计算图与动态图机制
开发语言·pytorch·python·深度学习·计算图
m0_678693333 小时前
深度学习笔记22-RNN心脏病预测(Tensorflow)
笔记·rnn·深度学习
Y1nhl9 小时前
搜广推校招面经八十一
开发语言·人工智能·pytorch·深度学习·机器学习·推荐算法·搜索算法
鸿蒙布道师13 小时前
OpenAI为何觊觎Chrome?AI时代浏览器争夺战背后的深层逻辑
前端·人工智能·chrome·深度学习·opencv·自然语言处理·chatgpt