【机器学习01】基本概念

机器学习是计算机科学的一个分支,通过算法和统计模型使计算机系统能够在没有明确指令的情况下执行特定任务。机器学习的核心思想是从数据中学习规律,并基于这些规律进行预测或决策。以下是机器学习的一些基本数学定义和概念:

1. 数据集 (Dataset)

数据集是机器学习模型进行训练和测试的数据集合。假设一个数据集 D D D包含 n n n个样本,每个样本由一个特征向量 x i \mathbf{x}_i xi和一个目标变量 y i y_i yi组成:

D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ... , ( x n , y n ) } D = \{(\mathbf{x}_1, y_1), (\mathbf{x}_2, y_2), \ldots, (\mathbf{x}_n, y_n)\} D={(x1,y1),(x2,y2),...,(xn,yn)}

其中, x i ∈ R d \mathbf{x}_i \in \mathbb{R}^d xi∈Rd, y i ∈ R y_i \in \mathbb{R} yi∈R或 y i ∈ { 0 , 1 } y_i \in \{0, 1\} yi∈{0,1}等。

2. 目标函数 (Objective Function)

目标函数也称为损失函数或代价函数,用于衡量模型预测值与实际值之间的差异。常见的目标函数包括:

  • 均方误差 (Mean Squared Error, MSE):用于回归问题。
    L ( w ) = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 L(\mathbf{w}) = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 L(w)=n1∑i=1n(yi−y^i)2
  • 交叉熵 (Cross-Entropy):用于分类问题。
    L ( w ) = − 1 n ∑ i = 1 n [ y i log ⁡ y ^ i + ( 1 − y i ) log ⁡ ( 1 − y ^ i ) ] L(\mathbf{w}) = - \frac{1}{n} \sum_{i=1}^{n} [y_i \log \hat{y}_i + (1 - y_i) \log (1 - \hat{y}_i)] L(w)=−n1∑i=1n[yilogy^i+(1−yi)log(1−y^i)]

3. 模型 (Model)

机器学习模型是通过学习数据集中的规律来进行预测的函数。假设模型为 f f f,则对于输入特征向量 x \mathbf{x} x,输出预测值 y ^ \hat{y} y^:

y ^ = f ( x ; w ) \hat{y} = f(\mathbf{x}; \mathbf{w}) y^=f(x;w)

其中, w \mathbf{w} w为模型的参数。

4. 学习算法 (Learning Algorithm)

学习算法用于优化模型参数 w \mathbf{w} w,使目标函数 L ( w ) L(\mathbf{w}) L(w)最小化。常见的优化算法包括:

  • 梯度下降法 (Gradient Descent)
    w ← w − η ∇ L ( w ) \mathbf{w} \leftarrow \mathbf{w} - \eta \nabla L(\mathbf{w}) w←w−η∇L(w)
    其中, η \eta η为学习率, ∇ L ( w ) \nabla L(\mathbf{w}) ∇L(w)为目标函数的梯度。

5. 评估指标 (Evaluation Metrics)

评估指标用于衡量模型的性能。常见的评估指标包括:

  • 精度 (Accuracy):用于分类问题。
    Accuracy = Number of Correct Predictions Total Number of Predictions \text{Accuracy} = \frac{\text{Number of Correct Predictions}}{\text{Total Number of Predictions}} Accuracy=Total Number of PredictionsNumber of Correct Predictions
  • 均方误差 (MSE):用于回归问题。
    MSE = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 \text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 MSE=n1∑i=1n(yi−y^i)2

6. 正则化 (Regularization)

正则化用于防止模型过拟合,通过在目标函数中加入正则项来控制模型的复杂度。常见的正则化方法包括:

  • L2 正则化 (Ridge Regression)
    L ( w ) = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 + λ ∥ w ∥ 2 2 L(\mathbf{w}) = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 + \lambda \|\mathbf{w}\|_2^2 L(w)=n1∑i=1n(yi−y^i)2+λ∥w∥22
  • L1 正则化 (Lasso Regression)
    L ( w ) = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 + λ ∥ w ∥ 1 L(\mathbf{w}) = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 + \lambda \|\mathbf{w}\|_1 L(w)=n1∑i=1n(yi−y^i)2+λ∥w∥1

7. 模型验证 (Model Validation)

模型验证用于评估模型在未见数据上的性能,常见的验证方法包括:

  • 交叉验证 (Cross-Validation)
  • 留出法 (Hold-Out Validation)

通过以上数学定义和概念,机器学习系统可以构建、训练和评估,从而实现从数据中学习并进行预测的目的。

相关推荐
捕鲸叉7 分钟前
创建线程时传递参数给线程
开发语言·c++·算法
A charmer11 分钟前
【C++】vector 类深度解析:探索动态数组的奥秘
开发语言·c++·算法
wheeldown40 分钟前
【数据结构】选择排序
数据结构·算法·排序算法
阡之尘埃41 分钟前
Python数据分析案例61——信贷风控评分卡模型(A卡)(scorecardpy 全面解析)
人工智能·python·机器学习·数据分析·智能风控·信贷风控
观音山保我别报错2 小时前
C语言扫雷小游戏
c语言·开发语言·算法
孙同学要努力3 小时前
全连接神经网络案例——手写数字识别
人工智能·深度学习·神经网络
Eric.Lee20213 小时前
yolo v5 开源项目
人工智能·yolo·目标检测·计算机视觉
TangKenny3 小时前
计算网络信号
java·算法·华为
景鹤3 小时前
【算法】递归+深搜:814.二叉树剪枝
算法
iiFrankie3 小时前
SCNU习题 总结与复习
算法