目录

深度学习:神经网络模型的剪枝和压缩简述

深度学习的神经网路的剪枝和压缩,大致的简述,

主要采用: network slimming,瘦身网络...

深度学习网络,压缩的主要方式:

1.剪枝,nerwork pruing,

2.稀疏表示,sparse representation, 本是正态分布的,存在稀疏参数0.001等等,将接近0的缩放因子,全部摘除,

3.量化,bit precision, 低精度表示,不用浮点数,用整数,如int8、更少的bit,甚至20毫,

4.知识蒸馏,knowledge distillation,

神经网络,往往过度参数化,会对结果造成干扰和负担,所以要将他减掉,

剪枝技术介绍:

1.权重pt剪枝: 摘掉几个中间的权重,非结构化,不利于部署, 实现困难,硬件gpu也不支持,

2.神经元剪枝: 摘掉几个中间的神经元,不重要的通道,影响较小,可有可无,

network sliming,瘦身网络... 比较经典的网络剪枝方法。

原理: 不同的卷积层 ---->>> 通道缩放因子---->>> 新的卷积层。

网络初始化层中:(结构化的剪枝方法) (流程简述)

缩放因子,稀疏正则化,剪枝,微调

1.缩放因子: 参数比例,存在极小比例的缩放因子,如0.001等等,

2.稀疏正则化: 对缩放因子,进行稀疏正则化,可以自动识别不重要的通道,

3.剪枝: 具有较小缩放因子的通道将被剪枝,

4.微调: 剪枝后的紧凑模型(compact network),会精度下降,

需要微调达到正常训练网络的恢复,甚至超越!!!

网络瘦身-流程图:

初始化网络-> 通道:稀疏正则化训练 -> 剪除:小缩放因子通道 -> 微调: 剪枝后网络 -> 紧凑模型(compact network)

在, 初始化网络->紧凑模型(compact network) 之间多次,不断重复流程,迭代多次。

对于跨层链接:

正则化和预激活正则化来说,如resnet等架构,他们存在跳过的支路,BN在剪枝之前

剪完后,容易出现通道不匹配现象,不能直接相加,

必须采用: channel selection,与未被剪枝的后续通道相加,相当于多了一条连接线,

windows输入特殊符号: win+r,召唤出cmd命令行, 按下charmap,跳出特殊字符表。。。

不同的稀疏正则化,随着缩放因子λ的增大,而越来越稀疏。

但是,缩放因子λ太大会导致精度变差,后续的微调fine-tuning变难。

本文是转载文章,点击查看原文
如有侵权,请联系 xyy@jishuzhan.net 删除
相关推荐
努力毕业的小土博^_^10 小时前
【EI/Scopus双检索】2025年4月光电信息、传感云、边缘计算、光学成像、物联网、智慧城市、新材料国际学术盛宴来袭!
人工智能·神经网络·物联网·算法·智慧城市·边缘计算
Listennnn11 小时前
神经网络能不能完全拟合y=x² ???
人工智能·深度学习·神经网络
WhyNot?12 小时前
深度学习入门(三):神经网络的学习
深度学习·神经网络·学习
odoo中国12 小时前
深度学习 Deep Learning 第16章 结构化概率模型
人工智能·深度学习·结构化模型
摸鱼仙人~12 小时前
为什么有的深度学习训练,有训练集、验证集、测试集3个划分,有的只是划分训练集和测试集?
人工智能·深度学习
Jamence13 小时前
多模态大语言模型arxiv论文略读(一)
人工智能·深度学习·语言模型
KangkangLoveNLP13 小时前
手动实现一个迷你Llama:使用SentencePiece实现自己的tokenizer
人工智能·深度学习·学习·算法·transformer·llama
thinkMoreAndDoMore15 小时前
深度学习处理文本(5)
人工智能·python·深度学习
weixin_7503355215 小时前
李沐 X 动手学深度学习--第九章 现代循环神经网络
人工智能·rnn·深度学习
摸鱼仙人~15 小时前
深度学习数据集划分比例多少合适
人工智能·深度学习