机器学习十大经典算法：一张表看懂分类 / 回归 / 聚类 / 降维
在上一篇内容中，我们梳理了机器学习的核心任务体系（监督/无监督学习），以及回归、分类、聚类、降维四大核心任务的底层逻辑。本篇将聚焦机器学习十大经典算法，用"表格+可视化图解"的形式，拆解每类算法的适用场景、核心逻辑和关键特性，帮你快速匹配算法与业务需求。
1 先看核心：十大算法与四大任务的对应关系
机器学习算法的选择，第一步是"按任务定算法范围"。以下这张表清晰标注了十大经典算法分别对应回归、分类、聚类、降维四大核心任务，帮你快速定位：
| 回归 | 分类 | 聚类 | 降维 | |
|---|---|---|---|---|
| 监督学习 | 1. 线性回归 | |||
| 2. 逻辑回归 | ||||
| 3. 朴素贝叶斯 | ||||
| 4. KNN | ||||
| 5. SVM | ||||
| 6. 决策树回归 | 6. 决策树 | |||
| 7. 随机森林回归 | 7. 随机森林 | |||
| 8. GBDT 回归 | 8. GBDT | |||
| 非监督学习 | 9. K-means | |||
| 10. PCA |
2 回归任务：预测连续数值的核心算法
回归任务的核心是"预测连续型结果"（如房价、销量、温度），十大算法中聚焦回归的有4类，且均属于监督学习范畴：
2.1 线性回归：最基础的线性拟合工具
线性回归是回归任务的"基线算法"，核心是拟合输入特征与输出数值的线性关系（y = wx + b），权重系数可直接反映特征对结果的影响程度。
适用场景 ：房价初步预测、销量基线计算、风控中特征权重分析（如收入对还款能力的影响）；
核心特点：可解释性极强、训练/预测速度快，但仅能拟合线性关系。
2.2 决策树回归/随机森林回归/GBDT回归：非线性回归的核心
这三类算法既支持分类也支持回归，是处理非线性回归任务的核心工具，三者的核心差异在于"模型构建逻辑"：
- 决策树回归：通过树状规则划分特征空间，直观但易过拟合；
- 随机森林回归：多棵决策树投票平均，鲁棒性强、抗过拟合；
- GBDT回归：串行修正误差，精度极高但训练速度慢。
决策树核心结构（回归/分类通用）
随机森林多树集成逻辑
GBDT误差修正逻辑
适用场景：
- 决策树回归：信贷额度预测（需明确决策规则）；
- 随机森林回归：电商销量预测（抗噪、稳定性优先）；
- GBDT回归：推荐系统评分预测（精度优先）。
3 分类任务：判断离散类别的7大核心算法
分类任务是监督学习中最常用的场景（如垃圾邮件识别、用户标签分类），十大算法中有7类聚焦分类，覆盖不同数据规模、维度和可解释性需求：
分类任务核心逻辑框架
3.1 逻辑回归：二分类的"基线王者"
逻辑回归基于线性回归扩展，通过Sigmoid函数将输出映射到0~1区间，实现二分类概率预测，是高维稀疏数据分类的首选基线算法。
适用场景：垃圾邮件识别、贷款风险判断、广告点击率预测（十万级数据+几百维特征）。
3.2 朴素贝叶斯：高维稀疏数据的"极速工具"
基于贝叶斯定理，假设特征独立，训练/预测速度极快，对文本类高维稀疏数据友好。
适用场景：新闻分类、垃圾短信识别、百万级用户行为标签分类。
3.3 KNN：小样本数据的"惰性分类器"
核心是"物以类聚"，无需训练，新样本类别由最近K个邻居决定，适合小样本、低维数据。
适用场景：小型数据集图像识别（小于1万样本+几十维特征）。
3.4 SVM：高维小样本的"高精度选择"
寻找最优超平面最大化类别间隔，通过核函数处理非线性数据，高维小样本下精度突出。
适用场景：基因数据分类、图像特征分类（十万级高维小样本）。
3.5 决策树/随机森林/GBDT：分类任务的"进阶组合"
三类算法在分类场景的特性与回归场景一致，核心差异在于输出为离散类别：
- 决策树：可解释性强，适合生成信贷审批规则；
- 随机森林：鲁棒性强，适合电商用户分层；
- GBDT：精度最高，适合精准风控分类。
3.6 分类算法选型速查表
| 数据规模 | 维度数量 | 可解释性要求 | 算力和时间需求 | 分类算法 |
|---|---|---|---|---|
| 十万级 | 几百维 | 强（权重系数可解释） | 训练快，预测快，适合 baseline | 逻辑回归 |
| 百万级 | 高维稀疏 | 中（概率结果可解释） | 极快，训练和预测开销都低 | 朴素贝叶斯 |
| 小于一万 | 几十维 | 弱（黑箱投票） | 无训练，大样本时非常缓慢 | KNN |
| 十万级 | 高维小样本 | 中（支持向量可解释） | 训练慢，预测速度中 | SVM |
| 十万级 | 几百维 | 强（树结构直观） | 训练快，预测速度快，易过拟合 | 决策树 |
| 百万级 | 高维稀疏 | 中（可看特征重要性） | 训练慢，预测速度中，鲁棒性好 | 随机森林 |
| 百万级以上 | 高维稀疏 | 弱（黑箱，难解释） | 训练慢，预测比 RF 慢，精度最高 | GBDT |
4 无监督学习：聚类与降维的2大核心算法
无监督学习无需标签，核心是挖掘数据内在规律，十大算法中K-means（聚类）和PCA（降维）是最经典的代表：
4.1 K-means：数据分组的"基础工具"
K-means通过迭代更新聚类中心，将数据按相似性分组，是用户分群、商品聚类的首选。
聚类任务核心逻辑
K-means迭代过程
适用场景：电商用户消费习惯分群、异常交易识别前置聚类。
4.2 PCA：高维数据的"压缩神器"
PCA通过线性变换将高维数据映射到低维空间，保留核心信息，是图像、文本数据降维的核心工具。
降维任务核心逻辑
PCA维度压缩逻辑
适用场景：高维图像特征降维、用户行为数据维度压缩。
5 算法落地：从选型到训练的核心逻辑
掌握十大算法的分类与特性后，落地机器学习任务需遵循"任务定义→算法选型→训练调优→评估迭代"的流程，其中训练调优的核心是"损失函数+正则化"，避免过拟合、提升泛化能力：
机器学习任务的一般步骤
过拟合问题与正则化解决思路
6 总结
机器学习十大经典算法的核心是"匹配场景"：
- 回归选线性回归/决策树系，看是否需要非线性拟合；
- 分类按数据规模/维度选逻辑回归/朴素贝叶斯/KNN/SVM/决策树系；
- 聚类优先K-means，降维优先PCA。
后续我们将针对每类算法展开实战教程，包括代码实现、调参技巧和业务落地案例，帮你从"懂理论"到"能落地"。