深度学习经验记录

1、随网络加深,特征高宽变小,使通道变多,来增加分类能力。

2、上采样扩张特征大小来对像素进行标记,上采样方法有转置卷积、双线性插值、反池化。

3、通过压缩图像来直接得到超分辨率重建样本。

4、目标检测方法,滑动窗口、区域提案、划分网格。

5、梯度消失解决方法,ReLU、BN、残差网络、预训练加微调。

6、过拟合解决方法,正则化、Dropout、提前停止、简化模型、数据增强、清洗数据、增加数据。

7、小数集训练,迁移学习,数据增强,更深网络,加多数据,余弦损失,先验知识。

8、模型压缩,剪枝、量化、蒸馏、哈夫曼编码、深度可分离卷积、轻量化结构。

9、通过对句子随机缺失然后补全来得到自然语言处理样本。

10、下采样在前几层密度更大,以换取速度提升,越往后下采样的密度应该更小。

11、深度决定了网络的表达能力,宽度决定了网络在某一层学到的信息量。

12、图像亮度变换增强鲁棒性会更好。

13、小卷积3x3堆叠代替大卷积核,3x3卷积+1x3卷积+3x1卷积增加旁路可以提升精度。

14、参数初始化可能会收到意想不到的好结果,xavier、He等。

15、模型理论容量是由卷积核数量,模型深度等决定的。但是有效容量会受学习速率影响。

16、训练loss小于0.01结束训练,验证loss大于0.3过拟合,训练loss与验证loss都大于0.3欠拟合。

17、加深可以增加模型容量,但更难训练与容易梯度消失,加宽可以更好的拟合训练集,但容易过拟合 。

18、模型可以看做是一个函数,训练是拟合数据得到函数的参数值。

19、模型的训练是在拟合训练集的规律,模型的使用却是将规律作用于测试集。过拟合是拟合训练集所有的大方向规律和小细节规律。

20、CNN具有平移不变性,尺度与旋转都存在变化,通过数据增强来学习尺度与旋转特性。

21、 多模态处理,分别用编码器提取特征,一种方式是通过对比损失函数,使得同一类样本特征尽量相似,另一种方式是concat后解码器处理。

22、 知识规则与神经网络融合。

23、单体智能元素组合到群体智能的调度。

24、 被低估的数据,被高估的模型。

25、 平均池化更能保留整体数据的特征,较好的突出背景信息;最大池化则能更好保留纹理特征。

26、 多任务自训练一种方法是利用多个独立的专业教师模型来训练一个多任务学生模型,使用专门教师模型来标记一个未标记的数据集,再用伪标签来训练多任务学习的学生模型。

27、 拟合度低的数据适合用来做预训练,主要用于增加泛化能力,拟合度高的数据适合用来微调模型,主要用于增加准确性。

相关推荐
jndingxin2 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉
Sweet锦3 小时前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
hie988943 小时前
MATLAB锂离子电池伪二维(P2D)模型实现
人工智能·算法·matlab
晨同学03274 小时前
opencv的颜色通道问题 & rgb & bgr
人工智能·opencv·计算机视觉
蓝婷儿4 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习
大千AI助手4 小时前
PageRank:互联网的马尔可夫链平衡态
人工智能·机器学习·贝叶斯·mc·pagerank·条件概率·马尔科夫链
小和尚同志4 小时前
Cline | Cline + Grok3 免费 AI 编程新体验
人工智能·aigc
我就是全世界4 小时前
TensorRT-LLM:大模型推理加速的核心技术与实践优势
人工智能·机器学习·性能优化·大模型·tensorrt-llm
.30-06Springfield4 小时前
决策树(Decision tree)算法详解(ID3、C4.5、CART)
人工智能·python·算法·决策树·机器学习
我不是哆啦A梦4 小时前
破解风电运维“百模大战”困局,机械版ChatGPT诞生?
运维·人工智能·python·算法·chatgpt