机器学习 day35(决策树)

  1. 决策树
  • 上图的数据集是一个特征值X采用分类值,即只取几个离散值,同时也是一个二元分类任务,即标签Y只有两个值
  • 上图为之前数据集对应的决策树,最顶层的节点称为根节点,椭圆形节点称为决策节点,矩形节点称为叶子节点
  • 决策树学习算法的工作是,在所有可能的决策树中,选择一个在训练集上能表现良好,并能很好的推广到新数据(即交叉验证集和测试集)的决策树
  1. 决策树的学习过程
  • 在构建决策树的过程中,有几个关键决定
  • 决定一:如何选择特征作为每一个节点?决策树算法通过最大化纯度来选择特征作为节点,从而对数据集进行拆分
  • 决定二:什么时候停止拆分?当某个节点处的数据的纯度为100%时,当拆分某个节点后会导致决策树超过最大深度时,当拆分节点后对纯度影响太小时,当某个节点的示例数量太少时
  • 根节点的深度为0,停止拆分的原因是为了确保我们的树不会变得太大和太笨重,保持树很小,就不太容易过拟合
相关推荐
汤姆宝库22 分钟前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静23 分钟前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康1 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea2 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen2 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷2 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘2 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
阿里云大数据AI技术2 小时前
云栖实录|倍思科技 × 阿里云:让VOC洞察从“生成报告”走向“业务可用”
人工智能·elasticsearch·agent
XLYcmy3 小时前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测
AllData公司负责人3 小时前
第九篇:AI大模型数据开发底座系列说明书:AllData集成BISHENG开源项目建设大模型应用开发底座,涵盖可视化编排/智能助手/一键API/模型接入!
人工智能·云原生·数据分析·视觉检测·知识图谱·大模型应用·bisheng