机器学习--分类算法

一、分类算法是什么？

简单说 ：教会计算机根据已有经验做选择题。
生活例子：

• 判断水果是苹果还是橙子（根据颜色、形状、重量）

• 预测邮件是正常还是垃圾邮件

• 诊断患者是否患有某种疾病

---

二、5大经典分类算法（附比喻）

1. 决策树 ------ 最像人类的决策方式

工作原理 ：像玩「20个问题」猜谜游戏，通过一系列问题逐步缩小范围
可视化例子：

Python代码：

from sklearn.tree import DecisionTreeClassifier
tree = DecisionTreeClassifier(max_depth=3)
tree.fit(X_train, y_train)

# 可视化决策树
from sklearn.tree import plot_tree
plot_tree(tree, feature_names=feature_names)

特点 ：

✅ 可解释性强（能画出决策路径）

⚠️ 容易过拟合（需要设置max_depth等参数）

---

2. K近邻(KNN) ------ 近朱者赤

核心思想 ：看最近的K个邻居属于哪类
生活比喻：搬新家时，参考周围5户人家的装修风格决定自家风格

距离计算（以2个特征为例）：

距离=(年龄差)2+(收入差)2距离=(年龄差)2+(收入差)2​

代码实现：

from sklearn.neighbors import KNeighborsClassifier
knn = KNeighborsClassifier(n_neighbors=5)
knn.fit(X_train, y_train)

特点 ：

✅ 无需训练过程（惰性学习）

⚠️ 计算成本高（需存储所有数据）

---

3. 逻辑回归 ------ 概率预测专家

虽然叫回归，实际是分类算法
核心 ：用S型函数将线性结果转换为概率
Sigmoid函数：

P=11+e−(wx+b)P=1+e−(wx+b)1​

代码实现：

from sklearn.linear_model import LogisticRegression
lr = LogisticRegression()
lr.fit(X_train, y_train)

特点 ：

✅ 输出可解释（直接得到概率）

⚠️ 只能处理线性可分数据

---

4. 支持向量机(SVM) ------ 边界最大化专家

核心思想 ：找到最宽的"隔离带"分开两类数据
生活比喻：在两群打架的小朋友之间画最宽的安全线

核技巧：通过变换处理非线性数据

from sklearn.svm import SVC
svm = SVC(kernel='rbf', C=1.0)  # 高斯核
svm.fit(X_train, y_train)

特点 ：

✅ 小样本效果优秀

⚠️ 对缺失数据敏感

---

5. 随机森林 ------ 集体智慧的胜利

工作原理 ：多个决策树投票决定结果
比喻：医生会诊，综合多位专家意见

代码实现：

from sklearn.ensemble import RandomForestClassifier
forest = RandomForestClassifier(n_estimators=100)
forest.fit(X_train, y_train)

特点 ：

✅ 抗过拟合能力强

⚠️ 可解释性降低

---

三、算法选择指南（新手友好版）

你的数据特点	推荐算法	原因
需要解释为什么这样分类	决策树	可可视化决策路径
数据有明显空间分布规律	KNN	近邻即相似
样本量小(<1万)	SVM	高维表现好
需要概率输出	逻辑回归	直接输出概率
追求最高准确率	随机森林	集成方法效果稳定

---

四、模型评估四件套

1. 混淆矩阵：看清所有预测对错

   from sklearn.metrics import confusion_matrix
   confusion_matrix(y_true, y_pred)

   

2. 常用指标：

   • 准确率(Accuracy)：整体正确率

   • 精确率(Precision)：预测为正的准确率

   • 召回率(Recall)：实际为正的检出率

   • F1分数：精确率和召回率的调和平均

---

五、避坑指南

1. 数据陷阱：

   • 类别不平衡时不要只看准确率（比如99%正常邮件，1%垃圾邮件）

   • 解决方法：用F1-score或AUC-ROC

2. 特征陷阱：

   • KNN/SVM必须做特征缩放（如StandardScaler）

   • 决策树不需要缩放

3. 代码陷阱：

   # 错误！应该在训练集上fit后transform测试集
   X_scaled = StandardScaler().fit_transform(X_all)  # ❌
   
   # 正确做法
   scaler = StandardScaler().fit(X_train)
   X_test_scaled = scaler.transform(X_test)  # ✅

---

六、实战建议

1. 初学者项目：

   • 鸢尾花分类（内置数据集）

   • Titanic生存预测（Kaggle入门赛）