数模实战视角下的机器学习模型知识点总结
预测模型---回归模型（监督学习）
线性回归（Linear Regression）
简单线性回归（Simple Linear Regression）
通过一条直线拟合一个自变量与因变量之间的线性关系，是回归分析中最基础的形式。其核心是找到一条最佳拟合直线，使得所有数据点到该直线的垂直距离（残差）平方和最小。经典应用场景包括分析房价与面积、广告投入与销售额等单一因素对连续结果的影响。
多元线性回归（Multiple Linear Regression）
通过线性组合多个自变量来预测一个因变量，能够综合考虑多个影响因素。模型旨在找到一组权重，使得多个特征与目标变量之间的线性关系最优。常用于分析如房屋价格（同时考虑面积、卧室数、地段等多个特征）或经济预测（综合多个指标）等复杂问题。
非线性回归（Nonlinear Regression）
多项式回归（Polynomial Regression）
利用多项式函数来拟合数据，能够描述自变量和因变量之间的非线性关系。通过引入特征的高次项，模型可以拟合出曲线，从而更灵活地捕捉数据中的复杂模式。适用于描述年龄与收入、温度与反应速率等非线性的关联趋势。
支持向量回归（Support Vector Regression, SVR）
其核心思想是在高维特征空间中寻找一个回归超平面，使得大部分数据点落在间隔带内，并最大化这个间隔。通过核函数处理非线性问题，对于高维数据或存在复杂关系的数据（如基因数据预测、文本情感分析）有较好效果。
决策树回归（Decision Tree Regression）
采用树状结构对数据空间进行递归分割，每个叶节点代表一个预测值。模型通过特征的条件判断进行预测，直观易懂，能自动处理非线性关系。常用于需要解释性的场景，如根据天气、日期预测用电量。
k-近邻回归（k-Nearest Neighbors Regression, k-NN）
一种基于实例的学习方法，不对数据分布进行假设。预测时，寻找待测样本在特征空间中最近的k个已知样本，并以这些邻居目标值的平均值作为预测结果。适用于数据分布不规则、且相似样本具有相近取值的场景，如基于相似房屋历史价格进行估价。
高斯过程回归（Gaussian Process Regression, GPR）
一种基于贝叶斯框架的非参数回归方法。它假设函数值服从一个高斯过程，通过协方差函数（核函数）来定义数据点之间的相似性，不仅能给出预测值，还能提供预测的不确定性估计。特别适用于需要量化预测置信度的场景，如机器人路径规划、环境监测。
正则化回归（Regularized Regression）
岭回归（Ridge Regression）
在线性回归的损失函数中增加L2正则化项（系数平方和），以惩罚过大的模型系数，从而防止过拟合，特别适用于特征之间存在多重共线性的情况。它会使系数收缩但通常不会变为零。
Lasso回归（Lasso Regression）
在线性回归的损失函数中增加L1正则化项（系数绝对值之和）。L1正则化倾向于产生稀疏解，即会将一些不重要的特征的系数压缩为零，从而实现特征选择。非常适用于高维数据下的模型简化与关键特征筛选。
弹性网回归（Elastic Net Regression）
岭回归和Lasso回归的折中方法，同时包含L1和L2正则化项。它既能像Lasso那样进行特征选择，又能像岭回归那样稳定地处理高度相关的特征群，尤其适用于特征数远大于样本数且特征间存在相关性的复杂场景。
集成回归方法（Ensemble Regression Methods）
随机森林回归（Random Forest Regression）
通过构建大量决策树并集成其输出（取平均）来进行预测。每棵树在训练时使用了数据的自助采样（Bootstrap）和特征的随机子集，这种随机性降低了模型的方差，有效减少了过拟合，提升了泛化能力和鲁棒性。
梯度提升回归（Gradient Boosting Regression）
一种迭代的集成方法，通过串行地训练一系列弱学习器（通常是决策树）。每一棵新树都致力于拟合之前所有树组合的残差（负梯度），从而逐步减少整体误差。这种方法能高效地拟合复杂的非线性关系，达到很高的预测精度。
AdaBoost回归（AdaBoost Regression）
通过迭代调整样本权重和弱学习器权重来进行集成。在每一轮中，加大之前被错误预测样本的权重，使得新弱学习器更关注这些困难样本，最后将所有弱学习器的预测进行加权组合。擅长提升简单模型的性能。
XGBoost回归（Extreme Gradient Boosting）
梯度提升算法的一种高效、灵活的优化实现。它在原始梯度提升框架的基础上，加入了正则化、并行处理、缺失值处理等优化，在速度和性能上表现卓越，是大数据竞赛和工业界中处理结构化数据的首选工具之一。
预测模型------分类模型（监督学习）
线性分类模型（Linear Classification Models）
逻辑回归（Logistic Regression）
虽然名字带有"回归"，但实际是经典的线性分类模型。它通过Sigmoid函数将特征的线性组合映射到[0,1]区间，输出样本属于某一类的概率。模型简单、可解释性强，广泛应用于二分类问题，如金融风控、疾病诊断。
线性判别分析（Linear Discriminant Analysis, LDA）
一种基于统计学的分类方法，旨在寻找一个线性投影方向，使得不同类别的样本投影后，类间方差最大，类内方差最小。它假设数据服从高斯分布且各类协方差相同，常用于多分类且特征维度较高的场景，如人脸识别。
朴素贝叶斯分类器（Naive Bayes Classifier）
基于贝叶斯定理，并假设所有特征之间条件独立。尽管这个"朴素"的假设在现实中很少成立，但该模型在高维文本分类（如垃圾邮件识别、情感分析）中往往表现惊人，计算效率也非常高。
支持向量机（Support Vector Machine, SVM）
其目标是寻找一个能最大化两类样本间隔的超平面作为决策边界。通过使用核技巧（Kernel Trick），可以隐式地将数据映射到高维空间，从而处理线性不可分的问题，在图像识别、文本分类等领域有深厚应用。
k-近邻分类（k-Nearest Neighbors Classification, k-NN）
一种懒惰学习（Lazy Learning）算法。分类时，根据距离度量找出待分类样本的k个最近邻，然后通过多数投票原则决定其类别。模型非常直观，但预测时需要计算与所有训练样本的距离，计算成本较高，且对噪声和无关特征敏感。
非线性分类模型（Nonlinear Classification Models）
神经网络（Neural Networks）
受生物神经元启发，通过多层互连的节点（神经元）来学习数据中的复杂模式。每一层对输入进行非线性变换，深度网络能够学习层次化的特征表示，是解决图像、语音、自然语言处理等复杂问题的强大工具。
决策树分类（Decision Tree Classification）
以树形结构进行决策，从根节点开始对样本的特征进行测试，并根据结果分配到子节点，直至到达叶节点（即类别）。模型易于理解和可视化，但单棵树容易过拟合，对数据细微变化敏感。
随机森林分类（Random Forest Classification）
决策树分类的集成版本。通过构建多棵决策树并进行投票，显著提升了模型的稳定性和准确率，同时降低了过拟合风险。它能有效处理高维数据，并提供特征重要性的度量。
梯度提升分类（Gradient Boosting Classification）
与梯度提升回归思想一致，只是损失函数换成了分类任务常用的（如对数损失）。它通过串行构建弱分类器来不断修正错误，通常能获得极高的分类精度，是许多数据科学竞赛中的利器。
多层感知机（Multilayer Perceptron, MLP）
是最基础的前馈神经网络，包含输入层、一个或多个隐藏层和输出层。使用反向传播算法进行训练，通过调整权重来最小化损失函数。它是深度学习众多复杂架构的基石。
极限学习机（Extreme Learning Machine, ELM）
针对单隐层前馈神经网络的一种快速训练算法。其核心思想是随机初始化输入层到隐藏层的权重和偏置，且训练过程中不再调整，仅通过解析方法计算输出层的权重。训练速度极快，适用于需要快速建模的场景。
预测模型------时间序列预测模型
经典时间序列模型
自回归模型（AR）
用时间序列自身的历史值作为解释变量来预测当前值，核心是捕捉序列的自相关性。适用于平稳序列的短期预测。
移动平均模型（MA）
用过去若干期的预测误差（白噪声）的线性组合来预测当前值，主要用来捕捉序列中的随机波动。
ARMA模型
自回归模型（AR）和移动平均模型（MA）的结合，同时捕捉序列的自相关结构和误差结构，适用于平稳时间序列建模。
ARIMA模型
全称为自回归积分移动平均模型。它在ARMA模型的基础上引入了差分（I）操作，以将非平稳时间序列转化为平稳序列，再建立ARMA模型，是处理非平稳序列的经典方法。
季节性ARIMA（SARIMA）模型
在ARIMA模型的基础上，显式地加入了季节性（周期性）成分的建模，能够同时处理趋势性、季节性和随机性，适用于具有明显季节波动（如月度、季度数据）的序列。
指数平滑模型（Exponential Smoothing）
通过对历史数据赋予指数递减的权重进行加权平均来预测未来。简单指数平滑只考虑水平，Holt方法增加了趋势，Holt-Winters方法进一步增加了季节性成分，是一类直观有效的预测方法。
向量自回归模型（VAR）
将单变量自回归模型推广到多变量时间序列系统。它用一个方程系统来描述多个变量之间的相互动态影响，常用于宏观经济变量的联合预测与分析。
GARCH模型
专门用于对时间序列的波动率（方差）进行建模。它能够描述金融时间序列中常见的"波动聚集"现象，即大幅波动往往伴随着大幅波动，平静期亦然，广泛应用于金融风险度量。
状态空间模型（State Space Models）
将时间序列视为由一个不可观测的"状态"变量驱动，并通过观测方程与观测数据联系起来。卡尔曼滤波是其著名的参数估计和状态预测算法，适用于信号处理、导航系统等动态系统。
TBATS模型
一个复杂的时间序列预测模型，其名称来源于其核心组件：Trigonometric seasonality（三角函数季节性）、Box-Cox transformation（Box-Cox变换）、ARMA errors（ARMA误差）、Trend（趋势）和Seasonal components（季节性成分）。特别擅长处理具有复杂多重季节性的数据。
基于机器学习的时间序列模型
支持向量回归（SVR）
将SVM的思想用于回归问题，通过核函数处理非线性，在时间序列预测中能够捕捉复杂的非线性依赖关系。
长短期记忆网络（LSTM）
一种特殊的循环神经网络（RNN），通过精心设计的"门"结构（输入门、遗忘门、输出门）来控制信息的流动，有效解决了普通RNN在训练中的梯度消失/爆炸问题，特别擅长学习时间序列中的长期依赖模式。
Prophet模型
由Facebook开发的一个加法模型，将时间序列分解为趋势项、季节项、节假日效应和误差项。其最大特点是易于使用、对缺失值和异常值稳健，且预测结果具有很好的可解释性，非常适合具有规律性季节模式的商业数据预测。
随机森林回归/梯度提升回归
这些集成树模型同样可以用于时间序列预测。通常需要将时间序列转化为有监督学习问题（例如，用过去N个时间点的值作为特征，预测下一个时间点的值），然后直接应用这些强大的回归器。
Transformer
最初为自然语言处理设计，其核心"自注意力机制"能够并行计算并捕捉序列中任意两个位置间的依赖关系，不受距离限制。近年来在长序列时间序列预测任务中展现出强大潜力。
Temporal Fusion Transformers（TFT）
一种专为多变量时间序列预测设计的基于Transformer的架构。它结合了注意力机制和门控网络，不仅能进行精准的点预测，还能输出预测区间，并提供了特征重要性等可解释性信息。
k-近邻回归（k-NN）/高斯过程回归（GPR）/极限学习机（ELM）
这些通用回归模型在将时间序列问题转化为监督学习格式后，均可用于预测。k-NN简单直接；GPR提供不确定性估计；ELM则追求极快的训练速度，各具特色。
预测模型------无监督学习模型
聚类分析
K-Means聚类
最著名的划分式聚类算法。通过迭代优化，将数据点划分到K个簇中，使得每个点到其所属簇中心的距离平方和最小。算法简单高效，但对初始值和异常值敏感，且需要预先指定K值。
层次聚类
通过计算数据点之间的距离，逐步合并（自底向上）或分裂（自顶向下）簇，最终形成一个树状的聚类结构（树状图）。用户可以根据树状图在不同高度进行切割，得到不同粒度的聚类结果，无需预先指定簇数。
DBSCAN
一种基于密度的聚类算法。它将簇定义为高密度区域，能够发现任意形状的簇，并自动识别噪声点。其核心参数是邻域半径（eps）和最小样本数（minPts），对噪声和异常值鲁棒。
Mean Shift
一种基于密度峰值的聚类算法。它通过迭代地将一个滑动窗口的中心向该窗口内数据点的均值方向移动，直至收敛到密度最大的区域（模式点）。算法无需指定簇数，但计算复杂度较高。
高斯混合模型（Gaussian Mixture Model, GMM）
采用概率模型来描述聚类，假设所有数据点是由多个高斯分布混合生成的。通过期望最大化（EM）算法估计每个高斯分布的参数（均值、协方差）和混合系数。与K-Means的"硬分配"不同，GMM给出的是样本属于各簇的"软"概率。
降维与特征提取
PCA（主成分分析）
最经典的线性降维方法。通过正交变换，将原始可能相关的特征转换为一组线性不相关的新变量（主成分），并按方差从大到小排列。通常取前几个主成分就能保留数据中的大部分变异信息。
t-SNE
一种非线性降维技术，特别擅长将高维数据映射到2维或3维用于可视化。其目标是保持数据点在高维空间中的局部邻居关系，在低维空间中用概率分布的形式表现出来，能很好展现数据的簇结构。
自编码器（Autoencoder）
一种基于神经网络的无监督学习方法。它包含一个将输入压缩到低维空间的编码器和一个从低维表示重建输入的解码器。训练目标是使重建误差最小化，从而迫使中间的"瓶颈"层学习到数据最本质的特征表示。
UMAP
一种较新的基于流形学习的降维算法。与t-SNE相比，它在保持数据局部结构的同时，能更好地保留数据的全局结构（如簇间的距离关系），并且计算效率更高，已成为高维数据可视化的重要工具。
ICA（独立成分分析）
旨在将多变量信号分解为若干个统计上独立的加性子信号（独立成分）。它假设源信号是非高斯的且相互独立，常用于盲源分离问题，如从混合的录音中分离出不同说话人的声音。
因子分析
一种用于探索变量间潜在结构的统计方法。它假设观测到的变量是由少数几个无法直接观测的"潜在因子"和独特的误差项线性组合而成。常用于社会科学、心理学等领域，以发现影响多个观测变量的共同因素。
总结
本文从数学建模实战的视角，系统梳理了机器学习中四大类核心预测模型：回归模型 、分类模型 、时间序列预测模型 和无监督学习模型。这些模型构成了解决各类数据驱动问题的工具箱。
-
回归与分类 作为监督学习的双翼，分别应对连续值预测和类别判断问题。从简单直观的线性模型 （如线性回归、逻辑回归），到能捕捉复杂非线性关系的树模型 （如决策树、随机森林、梯度提升），再到适用于高维、小样本问题的支持向量机 和神经网络 ，模型的选择往往需要在可解释性、计算效率与预测精度之间做出权衡。集成方法（如随机森林、XGBoost）通过组合多个弱学习器，已成为提升模型稳健性与精度的主流实践。
-
时间序列预测 拥有其独特的模型体系。经典的统计模型 （如ARIMA、指数平滑）基于序列内在的统计特性（趋势、季节性、自相关），原理清晰且解释性强。而现代的机器学习与深度学习模型（如LSTM、Transformer、Prophet）则能更灵活地融合外部特征、捕捉复杂的长期依赖与非平稳模式，在处理高维、多变量序列时展现出强大能力。在实际建模中，常将经典模型的统计洞见与机器学习模型的强大拟合能力相结合。
-
无监督学习 不依赖于标签，旨在探索数据内在结构。聚类分析 （如K-Means、DBSCAN）用于发现样本的自然分组；降维与特征提取（如PCA、t-SNE、自编码器）则致力于在保留关键信息的前提下压缩数据维度，以助力可视化、去除噪声或为后续监督学习提供更优质的输入。
免责声明：本文在AI工具的辅助下完成，但核心思路、框架及观点均为原创。内容仅作学习交流之用，不承担由此产生的任何责任。最终解释权归作者所有。