Pytorch 机器学习专业基础知识+神经网络搭建相关知识

文章目录

一、三种学习方式

有监督学习:

1、分类问题

2、回归问题

3、图像分割

4、语音识别

5、语言翻译

无监督学习

1、聚类

2、降维

强化学习

二、机器学习的一些专业术语

样本(sample)或输入(input)或数据点(data point)

可以理解为一个图像

预测(prediction)或输出(output)

可以理解为是结果

目标(target)或标签(label)

图像实际标注的标签

损失值(loss value)或预测误差(prediction error)

预测与实际的差距

类别(classes)

数据集一组可能的值或标签

二分类(binary classification)

将输入实例归类为两个互斥类中的其中一个分类任务

多类别分类(multi-class classification)

多标签分类

一个输入实例,多个标签标记

标量回归(scakar regression)

每个输入数据与一个标量质量相关联

向量回归(vector regression)

多个标签,组成向量

批(batch)

一批为一个样本集,取决于CPU内存 2-256不等 权重在每个批次上更新

轮数

运行一遍为一个epoch,训练模型需要多个epoch

三、模型相关知识

通常模型数据集分为三个部分 训练、测试、验证

模型一般有两种参数

1、算法内参数或权重,用于优化器和反向传播

2、超参数,用于控制层数、学习率、结构参数

过拟合:在训练集效果很好,到了验证集或测试机效果不佳

欠拟合:在训练集就效果不佳

对数据集进行划分:

1、分出大部分数据作为训练集,用于训练

2、验证集一般用于超参数的调优

3、迭代执行1和2的步骤

4、最后冻结算法和超参数后,测试集进行评估

四、常用的保留策略

1、简单保留验证

留一定比例用于测试

2、K折验证

留一定比例测试,整个数据集分为K个包,一般K取值2-10

选一个包作为验证集,其余都是训练集,评估效果为各个包的平均评分

3、带混洗的K折验证

在创建保留的验证集时,混洗数据集

五、数据处理

需要考虑的东西有:

1、数据代表性

要做到分层抽样,防止局部特征

2、时间敏感性

要注意预防数据泄露

3、数据容易

避免重复数据影响性能

数据预处理

1、向量化(正常的数据类型有文本、声音、图像、视频)

先把数据转换为Pytorch张量,torchvision库可以把PIL图像转换为张量

2、值归一化

归一化就是将特定的特征数据表示为均值为0,标准差为1的数据

3、处理缺失值

用不可能出现的值替换缺失值

4、特征工程

用较少资源更快解决问题

用大量数据学得特征,自己学

六、解决过拟合与欠拟合

欠拟合很简单,加大数据集 用更多的数据

过拟合的解决:

1、获取更多数据(人造数据或数据增强)

2、缩小网络规模(可以去掉一些中间线性层)

3、应用权重正则化(通过惩罚矩阵来实现)

有两种惩罚模型的方案:

L1正则化 权重系数绝对值之和加入成本

L2正则化 所有权重系数平方和加入成本(通常用1e-5)

七、成功的衡量标准

平衡的标准 ROC AUC

不平衡的标准:

准确略 precision

查全率 recall

平均精读均值 MAP (Mean Average Precision)

相关推荐
梦想的初衷~6 分钟前
基于现代R语言【Tidyverse、Tidymodel】的机器学习方法
开发语言·机器学习·r语言
Teacher.chenchong1 小时前
现代R语言机器学习:Tidymodel/Tidyverse语法+回归/树模型/集成学习/SVM/深度学习/降维/聚类分类与科研绘图可视化
机器学习·回归·r语言
TomatoSCI1 小时前
聚类的可视化选择:PCA / t-SNE丨TomatoSCI分析日记
人工智能·机器学习
lucky_lyovo1 小时前
卷积神经网络--网络性能提升
人工智能·神经网络·cnn
nju_spy1 小时前
周志华《机器学习导论》第8章 集成学习 Ensemble Learning
人工智能·随机森林·机器学习·集成学习·boosting·bagging·南京大学
星座5282 小时前
基于现代R语言【Tidyverse、Tidymodel】的机器学习方法与案例分析
机器学习·r语言·tidyverse·tidymodel
亲持红叶2 小时前
GLU 变种:ReGLU 、 GEGLU 、 SwiGLU
人工智能·深度学习·神经网络·激活函数
石迹耿千秋7 小时前
迁移学习--基于torchvision中VGG16模型的实战
人工智能·pytorch·机器学习·迁移学习
Wendy144110 小时前
【线性回归(最小二乘法MSE)】——机器学习
算法·机器学习·线性回归
绝顶大聪明11 小时前
【深度学习】神经网络-part2
人工智能·深度学习·神经网络