机器学习十大算法简介与应用
机器学习分为监督学习、无监督学习、强化学习（可选）三大分支
监督学习算法
线性回归
核心：拟合线性关系 y = w x + b y = wx + b y=wx+b
应用：房价预测、销量分析
特点：简单、可解释性强
逻辑回归
核心：Sigmoid函数处理二分类 P ( y = 1 ∣ x ) = 1 1 + e − ( w x + b ) P(y=1|x) = \frac{1}{1+e^{-(wx+b)}} P(y=1∣x)=1+e−(wx+b)1
应用：信用评分、疾病诊断
特点：输出概率值
决策树
核心：基于信息增益/基尼系数分裂节点
应用：客户分群、风险评估
特点：可解释性强，易过拟合
随机森林
核心：多决策树投票集成
应用：金融反欺诈、推荐系统
特点：抗过拟合，并行计算
支持向量机（SVM）
核心：最大化间隔超平面 w T x + b = 0 w^Tx + b = 0 wTx+b=0
应用：图像分类、文本分类
特点：适合小样本高维数据
无监督学习算法
聚类->K均值聚类
核心：最小化簇内平方误差 ∑ i = 1 k ∑ x ∈ C i ∣ ∣ x − μ i ∣ ∣ 2 \sum_{i=1}^k \sum_{x \in C_i} ||x - \mu_i||^2 ∑i=1k∑x∈Ci∣∣x−μi∣∣2
应用：用户画像、市场细分
特点：需预设K值
降维->主成分分析（PCA）
核心：特征降维，保留最大方差方向
应用：数据可视化、去噪
特点：线性变换，丢失部分信息
其他关键算法
朴素贝叶斯
核心：基于条件独立性假设 P ( y ∣ x ) ∝ P ( y ) ∏ P ( x i ∣ y ) P(y|x) \propto P(y)\prod P(x_i|y) P(y∣x)∝P(y)∏P(xi∣y)
应用：垃圾邮件过滤、情感分析
特点：计算效率高
K近邻（KNN）
核心：基于距离投票分类
应用：推荐系统、异常检测
特点：惰性学习，计算成本高
梯度提升树（如XGBoost）
核心：迭代优化损失函数
应用：竞赛常用、点击率预测
特点：高性能，需调参
