机器学习 - 神经网络分类

什么叫做分类问题?

A classification problem involves predicting whether something is one thing or another.

Problem type What is it? Example
Binary classification Target can be one of two options, e.g. yes or no Predict whether or not someone has heart disease based on their health parameters.
Multi-class classification Target can be one of more than two options Decide whether a photo is of food, a person or a dog
Multi-label classification Target can be assigned more than one option Predict what categories should be assigned to a Wikipedia article (e.g. mathematics, science & philosophy).

做 classification problem 步骤:

  1. Architecture of a classification neural network
  2. Getting binary classification data ready
  3. Building a PyTorch classification model
  4. Fitting the model to data (training)
  5. Making predictions and evaluating a model (inference)
  6. Improving a model (from a model perspective)
  7. Non-linearity
  8. Replicating non-linear functions
  9. Putting it all together with multi-class classification

Architecture of a classification neural network

Hyperparameter Binary Classification Multiclass classification
Input layer shape (in_features) Same as number of features (e.g. 5 for age, sex, height, weight, smoking status in heart disease prediction) Same as binary classification
Hidden layer(s) Problem specific, minimum = 1, maximum = unlimited Same as binary classification
Neurons per hidden layer Problem specific, generally 10 to 512 Same as binary classification
Output layer shape (out_features) 1 (one class or the other) 1 per class (e.g. 3 for food, person or dog photo)
Hidden layer activation Usually ReLU (rectified linear unit) but can be many others Same as binary classification
Output activation Sigmoid (torch.sigmoid in PyTorch) Softmax (torch.softmax in PyTorch)
Loss function Binary crossentropy (torch.nn.BCELoss in PyTorch) Cross entropy (torch.nn.CrossEntropy Loss in PyTorch)
Optimizer SGD (stochastic gradient descent), Adam (see torch.optim for more options) Same as binary classification

ReLU 函数定义:f(x) = max(0, x),x为输入

该函数特点:

  1. 非线性:尽管ReLU函数在 x <= 0 时输出固定值为零,但在 x > 0 时输出与输入成正比,因此具有非线性特性,有助于神经网络学习复杂的非线性关系。
  2. 稀疏性:在神经网络的训练过程中,由于ReLU函数在 x <= 0 时输出为零,因此某些神经元会被"关闭",这意味着它们不会对网络的输出产生影响,使得网络的稀疏性增加,有助于减少过拟合。
  3. 解决梯度消失问题:ReLU 函数在正区间的梯度始终为1,不会出现梯度消失的问题,有助于缓解梯度消失问题,提高训练的稳定性和速度。

Make classification data and get it ready

创建一些数据

python 复制代码
from sklearn.datasets import make_circles 

# Make 1000 samples
n_samples = 1000

# Create circles
X, y = make_circles(n_samples,
                    noise = 0.03,
                    random_state = 42)
print(f"X里的前5个数:\n{X[:5]}")
print(f"y里的前5个数:\n{y[:5]}")

# 结果如下
X里的前5个数:
[[ 0.75424625  0.23148074]
 [-0.75615888  0.15325888]
 [-0.81539193  0.17328203]
 [-0.39373073  0.69288277]
 [ 0.44220765 -0.89672343]]
y里的前5个数:
[1 1 1 1 0]

make_circles 函数用于生成一个包含两个圆形类别的二分类数据集,其中一个类别位于另一个类别的内部。

在 make_circles 函数中,noise参数用于控制生成的数据集中噪声的程度。noise参数的值在[0,1]范围内,表示生成的数据中随机噪声的标准差,即数据点在生成圆形分类时的偏移程度。noise 参数控制了数据点在生成时的偏移程度,从而影响了生成的数据集的分布情况。当 noise 参数较小 (接近0)时,生成的数据点更加紧密地分布在圆形区域内,而当 noise 参数较大 (接近1)时,生成地数据点可能会有较大地偏移,甚至出现在不同类别地区域内。

这里稍微介绍什么时"噪声"? 在数据领域中,"噪声"通常指的是在数据中存在的不希望或不相关的信息。这些信息可能是由于数据收集过程中的各种因素引入的随机性,错误或干扰造成的。噪声可能会包括几种类型:随机噪声,错误噪声,干扰噪声,不相关噪声。

随机噪声:由于测量或采样过程中的不确定性引起的随机波动。例如:图像中的图像噪声等。

错误噪声:由于设备故障,数据输入错误或其他技术问题引起的错误数据。例如:传输过程中的数据丢失等。

干扰噪声:来自外部环境的干扰信号或干扰源引入的数据干扰。例如:电磁干扰。

不相关噪声:数据中存在的与目标任务无关的信息。


将上面的代码放到 pandas 里的 DataFrame 更清楚的查看关系

python 复制代码
import pandas as pd
circles = pd.DataFrame({
    "X1": X[:, 0],
    "X2": X[:, 1],
    "label": y
})
print(circles.head(10))

# 结果如下
         X1        X2  label
0  0.754246  0.231481      1
1 -0.756159  0.153259      1
2 -0.815392  0.173282      1
3 -0.393731  0.692883      1
4  0.442208 -0.896723      0
5 -0.479646  0.676435      1
6 -0.013648  0.803349      1
7  0.771513  0.147760      1
8 -0.169322 -0.793456      1
9 -0.121486  1.021509      0

通过这结果,每一个X有两个features (X1 和 X2),并且对应一个label值。label值不是1就是0,说明这是 binary classification.

为了确定X1和X2的数量是否相同

python 复制代码
print(circles.label.value_counts())

# 结果如下:
1    500
0    500
Name: label, dtype: int64

# 两个features的数量一致

将数据显示

python 复制代码
import matplotlib.pyplot as plt 

plt.scatter(x = X[:, 0],
            y = X[:, 1],
            c = y,
            cmap = plt.cm.RdYlBu)

图形如下:

都看到这了,给个赞支持一下呗~

相关推荐
北京地铁1号线20 小时前
机器学习面试题:逻辑回归Logistic Regression(LR)
人工智能·机器学习
老黄编程20 小时前
--gpu-architecture <arch> (-arch)
linux·人工智能·机器学习
xchenhao1 天前
SciKit-Learn 全面分析分类任务 breast_cancer 数据集
python·机器学习·分类·数据集·scikit-learn·svm
先做个垃圾出来………1 天前
残差连接的概念与作用
人工智能·算法·机器学习·语言模型·自然语言处理
IT学长编程1 天前
计算机毕业设计 基于大数据技术的医疗数据分析与研究 Python 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
大数据·hadoop·机器学习·数据分析·毕业设计·毕业论文·医疗数据分析
Yingjun Mo1 天前
1. 统计推断-基于神经网络与Langevin扩散的自适应潜变量建模与优化
人工智能·神经网络·算法·机器学习·概率论
深耕AI1 天前
【PyTorch训练】准确率计算(代码片段拆解)
人工智能·pytorch·python
AI小白的Python之路1 天前
机器学习-集成学习
人工智能·机器学习·集成学习
easy20201 天前
机器学习的本质:从跑模型到真正解决问题
笔记·学习·机器学习
Blossom.1181 天前
从“能写”到“能干活”:大模型工具调用(Function-Calling)的工程化落地指南
数据库·人工智能·python·深度学习·机器学习·计算机视觉·oracle