决策树-面试题

1. 决策树基本概念​​

​​定义​ ​:一种树形结构分类模型,通过特征判断序列(内部节点)逐步决策,最终到达表示分类结果的叶子节点。

​​结构组成​​:

  • ​内部节点​:特征判断条件(如"年龄>30?")
  • ​分支​:判断结果的路径("是"或"否")
  • ​叶子节点​:最终分类结果(如"拒绝贷款")

​​2. 熵(Entropy)的作用​​

​​定义​ ​:信息论中度量随机变量不确定性的指标,计算公式:

​​作用​​:

  • ​量化数据纯度​:熵越小,数据越纯净(如全为同一类别)
  • ​指导特征选择​:ID3/C4.5算法中,通过熵减(信息增益)选择分裂特征

​​3. CART vs ID3/C4.5 的核心区别​​

​​维度​​ ​​ID3/C4.5​​ ​​CART​​
​​任务支持​​ 仅分类 分类 + 回归
​​树结构​​ 多叉树 二叉树
​​分裂准则​​ ID3:信息增益 C4.5:信息增益率 分类:基尼指数 回归:平方误差最小化
​​缺陷解决​​ C4.5修正ID3的多值特征偏好 二叉树结构避免多值特征问题

​​4. 节点切分依据​​

不同算法使用不同分裂准则:

​​算法​​ ​​分裂依据​​ ​​公式/说明​​
​​ID3​​ 信息增益最大
​​C4.5​​ 信息增益率最大
​​CART​​ 基尼指数最小(分类) 平方误差最小(回归)

​​5. 剪枝的原因与方法​​

​​为什么剪枝​​:

  • ​过拟合风险​:决策树过度学习训练集噪声
  • ​泛化需求​:提高模型在未知数据的表现

​​常用剪枝方法​​:

​​类型​​ ​​操作​​ ​​优缺点​​
​​预剪枝​​ 树生成中提前停止分裂(如限制深度、叶节点样本数) ✅ 训练快 ❌ 可能欠拟合
​​后剪枝​​ 生成完整树后,自底向上替换子树为叶节点(如CCP代价复杂度剪枝) ✅ 保留有效分支 ❌ 计算开销大

​​总结关键记忆点​​:

  1. ​熵和基尼指数​:衡量数据混乱度,指导特征选择
  2. ​算法差异​:CART的二叉树和回归能力是最大特色
  3. ​剪枝本质​:模型复杂度和泛化能力的trade-off
相关推荐
XLYcmy1 小时前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测
武子康4 小时前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
卡尔曼的BD SLAMer4 小时前
北斗导航 |GNSS ION论文集汇总1997到2022(链接在文末)
算法·北斗导航
时间的拾荒人5 小时前
Redis Cluster 集群详解:分片算法、搭建、故障处理与扩容实战
数据库·redis·算法·集群
在所不辞兄7 小时前
【人工智能驱动的电催化研究-07】CSV文件、路径与可追溯记录
人工智能·深度学习·神经网络·机器学习·有限元·电化学·电催化
老师我太想进步了20267 小时前
【数据结构-8】栈的实现
c语言·数据结构·算法
kyle~8 小时前
因子图优化(Factor Graph Optimization)
c++·算法·机器人·传感器
硅谷秋水9 小时前
MorphMimic 方法分析
人工智能·机器学习·计算机视觉·机器人
Pniubi9 小时前
贪心算法入门
算法·贪心算法
MobotStone9 小时前
AI 能不能越用越会用?从“改答案”到“改进自己”,读懂 RSI
人工智能·算法