机器学习西瓜书之决策树

目录

算法原理

从逻辑角度:通过一系列if-else语句进行多重判断,比如白富美的判断条件("白""富""美")。

从几何角度:根据定义的标准进行样本空间的划分。

以二分类问题为例,我们希望通过一系列的条件进行分类。

以下是算法原理的伪代码图:

比较形象的图:

输入中的训练集包含了很多样本集合,每一个样本中又有很多属性,对应伪代码中的 x 1 x_1 x1和 y 1 y_1 y1等;属性集则代表用于判断样本应该归到哪一类的判断准则,在判断西瓜的例子中就是色泽、大小这种抽象性质。

剪枝处理

目的:为了防止模型在训练的过程中将自己的一些特征当成了所有模型都会有的特征,手动将一些分支去掉,减少分支和过拟合的操作。

  • 预剪枝操作:根据经验判断事先将一些用于判断的分支剪掉

  • 后剪枝操作:用剪去一些分支作为实验,判断最后的结果,然后判断要不要剪枝。

比较形象的一幅图:

连续值处理

上面分析的是离散情况下的处理,但是现实生活中更多见的是连续值的处理。

对于连续值,用下面公式进行划分

缺失值处理

多变量决策树

个人感觉这个图非常形象表示了多变量决策树,相较于单变量决策树的线性判别,多变量分类目的是实现用光滑的曲线实现分类。

相关推荐
小陈phd几秒前
多模态大模型学习笔记(四十四)——图像计数(Image Counting):多目标密集场景下的精确统计
人工智能
Elastic 中国社区官方博客2 分钟前
使用 Jina CLIP v2 和 Elasticsearch 实现多语言图片搜索
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·jina
刘一说3 分钟前
AI科技热点日报 | 2026年06月02日
人工智能·科技
任我坤3 分钟前
Github Copilot 智能编程助手深度评测
人工智能·github·copilot
Agent手记4 分钟前
电信装维如何智能派单?AI 工程师匹配原理与智能体架构拆解
人工智能·ai·架构
动物园猫6 分钟前
停车场空车位检测数据集分享(适用于YOLO系列深度学习检测任务)
人工智能·深度学习·yolo
山科智能信息处理实验室9 分钟前
(AAAI-2026)KnowLP:GraphRAG 诱导双知识结构图,实现个性化学习路径推荐
人工智能·深度学习·大语言模型
zhangfeng11339 分钟前
DeepSeek V4 适配华为昇腾950 难度及开源情况
人工智能·pytorch·python·机器学习·华为·开源
searchforAI10 分钟前
Ai好记 vs Get笔记:AI音视频笔记工具深度测评对比
人工智能·笔记·学习·ai·音视频·语音识别
m0_6418892913 分钟前
2026好用的GEO优化监测系统,排名监测、数据分析、品牌诊断优化
人工智能·数据分析·geo·ai搜索·智能营销·geo优化