Pytorch 机器学习专业基础知识+神经网络搭建相关知识

文章目录

一、三种学习方式

有监督学习:

1、分类问题

2、回归问题

3、图像分割

4、语音识别

5、语言翻译

无监督学习

1、聚类

2、降维

强化学习

二、机器学习的一些专业术语

样本(sample)或输入(input)或数据点(data point)

可以理解为一个图像

预测(prediction)或输出(output)

可以理解为是结果

目标(target)或标签(label)

图像实际标注的标签

损失值(loss value)或预测误差(prediction error)

预测与实际的差距

类别(classes)

数据集一组可能的值或标签

二分类(binary classification)

将输入实例归类为两个互斥类中的其中一个分类任务

多类别分类(multi-class classification)

多标签分类

一个输入实例,多个标签标记

标量回归(scakar regression)

每个输入数据与一个标量质量相关联

向量回归(vector regression)

多个标签,组成向量

批(batch)

一批为一个样本集,取决于CPU内存 2-256不等 权重在每个批次上更新

轮数

运行一遍为一个epoch,训练模型需要多个epoch

三、模型相关知识

通常模型数据集分为三个部分 训练、测试、验证

模型一般有两种参数

1、算法内参数或权重,用于优化器和反向传播

2、超参数,用于控制层数、学习率、结构参数

过拟合:在训练集效果很好,到了验证集或测试机效果不佳

欠拟合:在训练集就效果不佳

对数据集进行划分:

1、分出大部分数据作为训练集,用于训练

2、验证集一般用于超参数的调优

3、迭代执行1和2的步骤

4、最后冻结算法和超参数后,测试集进行评估

四、常用的保留策略

1、简单保留验证

留一定比例用于测试

2、K折验证

留一定比例测试,整个数据集分为K个包,一般K取值2-10

选一个包作为验证集,其余都是训练集,评估效果为各个包的平均评分

3、带混洗的K折验证

在创建保留的验证集时,混洗数据集

五、数据处理

需要考虑的东西有:

1、数据代表性

要做到分层抽样,防止局部特征

2、时间敏感性

要注意预防数据泄露

3、数据容易

避免重复数据影响性能

数据预处理

1、向量化(正常的数据类型有文本、声音、图像、视频)

先把数据转换为Pytorch张量,torchvision库可以把PIL图像转换为张量

2、值归一化

归一化就是将特定的特征数据表示为均值为0,标准差为1的数据

3、处理缺失值

用不可能出现的值替换缺失值

4、特征工程

用较少资源更快解决问题

用大量数据学得特征,自己学

六、解决过拟合与欠拟合

欠拟合很简单,加大数据集 用更多的数据

过拟合的解决:

1、获取更多数据(人造数据或数据增强)

2、缩小网络规模(可以去掉一些中间线性层)

3、应用权重正则化(通过惩罚矩阵来实现)

有两种惩罚模型的方案:

L1正则化 权重系数绝对值之和加入成本

L2正则化 所有权重系数平方和加入成本(通常用1e-5)

七、成功的衡量标准

平衡的标准 ROC AUC

不平衡的标准:

准确略 precision

查全率 recall

平均精读均值 MAP (Mean Average Precision)

相关推荐
递归不收敛1 小时前
吴恩达机器学习课程(PyTorch 适配)学习笔记大纲
pytorch·学习·机器学习
递归不收敛4 小时前
吴恩达机器学习课程(PyTorch适配)学习笔记:2.4 激活函数与多类别处理
pytorch·学习·机器学习
~kiss~7 小时前
K-means损失函数-收敛证明
算法·机器学习·kmeans
PKNLP8 小时前
深度学习之神经网络1(Neural Network)
人工智能·深度学习·神经网络
生物小卡拉9 小时前
R脚本--表达矩阵与特征矩阵相关性分析
笔记·学习·机器学习
伏小白白白9 小时前
【论文精度-1】 组合优化中的机器学习:方法论之旅(Yoshua Bengio, 2021)
人工智能·机器学习·组合优化
CH3_CH2_CHO10 小时前
DAY03:【DL 第一弹】神经网络
人工智能·pytorch·深度学习·神经网络
春末的南方城市11 小时前
开放指令编辑创新突破!小米开源 Lego-Edit 登顶 SOTA:用强化学习为 MLLM 编辑开辟全新赛道!
人工智能·深度学习·机器学习·计算机视觉·aigc
Macre Aegir Thrym11 小时前
MINIST——SVM
算法·机器学习·支持向量机
PKNLP11 小时前
聚类之KMeans
机器学习·kmeans·聚类