深度学习:神经网络模型的剪枝和压缩简述

深度学习的神经网路的剪枝和压缩,大致的简述,

主要采用: network slimming,瘦身网络...

深度学习网络,压缩的主要方式:

1.剪枝,nerwork pruing,

2.稀疏表示,sparse representation, 本是正态分布的,存在稀疏参数0.001等等,将接近0的缩放因子,全部摘除,

3.量化,bit precision, 低精度表示,不用浮点数,用整数,如int8、更少的bit,甚至20毫,

4.知识蒸馏,knowledge distillation,

神经网络,往往过度参数化,会对结果造成干扰和负担,所以要将他减掉,

剪枝技术介绍:

1.权重pt剪枝: 摘掉几个中间的权重,非结构化,不利于部署, 实现困难,硬件gpu也不支持,

2.神经元剪枝: 摘掉几个中间的神经元,不重要的通道,影响较小,可有可无,

network sliming,瘦身网络... 比较经典的网络剪枝方法。

原理: 不同的卷积层 ---->>> 通道缩放因子---->>> 新的卷积层。

网络初始化层中:(结构化的剪枝方法) (流程简述)

缩放因子,稀疏正则化,剪枝,微调

1.缩放因子: 参数比例,存在极小比例的缩放因子,如0.001等等,

2.稀疏正则化: 对缩放因子,进行稀疏正则化,可以自动识别不重要的通道,

3.剪枝: 具有较小缩放因子的通道将被剪枝,

4.微调: 剪枝后的紧凑模型(compact network),会精度下降,

需要微调达到正常训练网络的恢复,甚至超越!!!

网络瘦身-流程图:

初始化网络-> 通道:稀疏正则化训练 -> 剪除:小缩放因子通道 -> 微调: 剪枝后网络 -> 紧凑模型(compact network)

在, 初始化网络->紧凑模型(compact network) 之间多次,不断重复流程,迭代多次。

对于跨层链接:

正则化和预激活正则化来说,如resnet等架构,他们存在跳过的支路,BN在剪枝之前

剪完后,容易出现通道不匹配现象,不能直接相加,

必须采用: channel selection,与未被剪枝的后续通道相加,相当于多了一条连接线,

windows输入特殊符号: win+r,召唤出cmd命令行, 按下charmap,跳出特殊字符表。。。

不同的稀疏正则化,随着缩放因子λ的增大,而越来越稀疏。

但是,缩放因子λ太大会导致精度变差,后续的微调fine-tuning变难。

相关推荐
tellmewhoisi2 小时前
深度学习0:数学知识:(雅可比矩阵)
人工智能·深度学习·矩阵
谙弆悕博士5 小时前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
咕泡科技5 小时前
关于机器学习,如何通俗理解全连接层(fully connected layer)?
人工智能·深度学习·机器学习
电科_银尘21 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
猿人谷1 天前
遗传编程的未来:从进化搜索到自主发现求解方法
人工智能·深度学习·神经网络·ai-native
泓博1 天前
Android仿写苹果缩放窗口
人工智能·gpt·深度学习
在所不辞兄1 天前
【人工智能驱动的电催化研究-07】CSV文件、路径与可追溯记录
人工智能·深度学习·神经网络·机器学习·有限元·电化学·电催化
jay神1 天前
基于 YOLOv8 的传送带异物检测系统(Web 版)
前端·人工智能·深度学习·yolo·计算机视觉·计算机毕业设计
电科_银尘2 天前
【深度学习项目实战·33】自定义数据集:把自己的图片接入PyTorch
人工智能·pytorch·深度学习
武子康2 天前
单卡 A6000 跑 Qwen-Drive:怎样留下可比较的第一条基线?
linux·人工智能·深度学习