机器学习模型:决策树笔记

第一章:决策树原理 1-决策树算法概述_哔哩哔哩_bilibili

根节点的选择应该用哪个特征?接下来选什么?如何切分?

决策树判断顺序比较重要。可以使用信息增益、信息增益率、

在划分数据集前后信息发生的变化称为信息增益,获得信息增益最高的特征就是最好的选择。集合信息的度量方式称为香农熵,或者简称熵。

常用的决策树算法

连续值应该怎么分?

排序之后二分。

决策树剪枝策略。

决策树有过拟合的风险,理论上可以完全分得开数据(如果树足够庞大,每个叶子节点就一个数据)

剪枝策略

预剪枝:边建立决策树边进行剪枝的操作(更实用)。

限制深度;叶子节点个数;叶子节点样本数;信息增益量等。

后剪枝:当建立完决策树后进行剪枝操作(用的不多)。

相关推荐
guuguo14 分钟前
【做个开源软件】Mac 上 node 进程莫名吃掉 6G 内存?给 AI / MCP 做了个深度归因和安全回收工具
人工智能·开源·github
双鱼大猫1 小时前
opencode 吃掉 100G 空间:Agent 会话数据要分级清理
人工智能·agent·ai编程
用户5833339816681 小时前
RPA 流程的异常处理设计:重试、降级与告警,生产环境实战指南
人工智能
sanxing三省2 小时前
DeepSeek Harness 到底是什么?标题里最重的词其实不是「DeepSeek」
前端·人工智能·deepseek
合尘猫3 小时前
用 6GB 显卡搭短视频产线:MiniMax H3 + ffmpeg 全流程实录(55 秒片 / 40 分钟)
人工智能·音视频
ZONGYUAN-ROOT3 小时前
【自愈治理】自愈式数据管道:大规模公开数据采集的治理方法
人工智能
Starry-sky(jing)3 小时前
Hermes Agent 升级 v0.23.2:先辨更新渠道,再看 CLI 退出残留修复
人工智能·python·ai agent
oil欧哟3 小时前
AI Agent Skill 入门指南:文件夹本质、渐进式加载与挑选方法
人工智能·ai编程
百度Geek说4 小时前
从代码生成到需求交付:DarkFactory 的工程实践
人工智能