决策树

机器学习从入门到精通 - 降维艺术：PCA与t-SNE带你玩转高维数据可视化想象一下你面前摆着成百上千个特征的数据集，密密麻麻的数字像一团纠缠的毛线。你想看清它的结构？想发现隐藏的模式？高维数据就像锁在迷宫里的秘密，而降维就是你手中的万能钥匙。今天我们不聊玄学，就扎扎实实带你用PCA和t-SNE这两把利器，把高维数据压扁、摊开、变成肉眼可见的瑰丽图谱 —— 相信我，当你第一次看到杂乱的数据点在二维平面上凝聚成清晰的星云、星团时，那种感觉堪比发现新大陆！

吴恩达机器学习补充：决策树和随机森林数据集：通过网盘分享的文件：sonar-all-data.csv 链接: https://pan.baidu.com/s/1D3vbcnd6j424iAwssYzDeQ?pwd=12gr 提取码: 12gr

机器学习回顾——决策树详解决策树是一种树形结构的预测模型，其核心思想是通过一系列规则对数据进行递归划分。它模拟人类决策过程，广泛应用于分类和回归任务。具体结构包括：

郝学胜-神的一滴

Pomian语言处理器研发笔记（二）：使用组合模式定义表示程序结构的语法树在Pomian语言处理器的研发过程中，语法树（Abstract Syntax Tree，AST）是程序分析和编译过程中的核心数据结构。语法树不仅能够清晰地表示程序的结构，还为后续的语义分析、代码优化和代码生成提供了重要的基础。本文将详细介绍如何使用组合模式（Composite Pattern）来定义和实现Pomian语言的语法树。

随机森林的 “Bootstrap 采样” 与 “特征随机选择”：如何避免过拟合？（附分类 / 回归任务实战）在机器学习的旅程中，我们常常会遇到一个“敌人”——过拟合（Overfitting）。想象一个学生，他只会死记硬背老师划定的考试范围和标准答案。在模拟考试（训练数据）中，他总能考满分，因为题目一模一样。可一旦到了正式考场（测试数据），题目稍微变换一下形式，他就束手无策，成绩一落千丈。

GBDT（Gradient Boosting Decision Tree，梯度提升决策树）总结梳理开始总结一下这部分机器学习的算法模型知识，从GBDT开始。先一句话总结学习完对GBDT的理解：每次训练一棵浅决策树，去拟合当前模型在损失函数上的负梯度（错误信号），用学习率控制每棵树的贡献，通过 M 轮串行迭代，将所有树的预测结果相加，最终得到一个强模型。

做一个快乐的小傻瓜

机器学习笔记目录决策树模型决策树 Decision Tree随机森林 Random Forest梯度提升决策树 Gradient Boosting Decision Trees

819 机器学习-决策树2一、决策树的算法信息增益：某个属性带来的熵增1、决策树三大经典算法• ID3 → 信息增益信息增益：某个属性带来的熵增

决策树8.19文档围绕决策树算法展开，介绍了 ID3、C4.5、CART 三种算法，ID3 用信息增益选划分属性，却偏好可取值多的属性；C4.5 采用信息增益率（信息增益 ÷ 自身熵）改进；CART 以基尼指数衡量数据集纯度。还涉及连续值处理（用贪婪算法离散化）、剪枝策略（预剪枝和后剪枝，预剪枝边建边剪，后剪枝基于损失函数等衡量）、代码实现参数及课堂练习。

决策树（2）决策树算法1. ID3核心是信息增益，即某个属性带来的熵增，信息增益越大，用该属性划分获得的“纯度提升”越大，故以此选择划分属性。

8.18 机器学习-决策树（1）分类/回归：数据从根节点→叶子节点逐步决策，最终落在叶子节点。根节点：第一个分裂的选择点。非叶子节点：中间判断条件的过程。

机器学习（决策树）决策树定义：从根节点逐步分裂至叶子节点的树形结构，数据最终落在叶子节点上。支持分类和回归任务。随机森林：由多棵决策树组成的集成学习模型，继承决策树的分类/回归能力。属于集成学习方法（如Bagging）。

深入浅出决策树在机器学习的广阔领域中，决策树是一种既直观又强大的模型。它就像我们日常生活中的决策过程，通过一步步的判断，最终得出结论。无论是分类任务还是回归任务，决策树都能胜任。今天，我们就来深入探讨决策树的奥秘，从基本概念到实际构建，带你全面掌握这一经典模型。

决策树总结定义：决策树是一种树形结构的机器学习模型，从根节点开始，通过特征的分支选择一步步走到叶子节点，最终完成分类或回归任务。

决策树：机器学习中的强大工具在机器学习的世界里，决策树是一种简单而强大的模型，它通过一系列的决策过程，将复杂的数据问题分解为简单的决策路径，从而实现分类或回归任务。本文将带你深入了解决策树的基本原理、构造方法以及如何通过信息增益来选择特征，帮助你更好地理解和应用这一强大的工具。

机器学习（决策树）树形结构模型：从根节点开始，通过特征选择分支路径，最终到达叶子节点（决策结果）。功能：适用于分类与回归任务。

从决策树基础到熵与信息增益在机器学习的分类任务中，决策树是最直观、最易理解的算法之一。它像一棵 “判断树”，通过层层分支的决策逻辑，将复杂的分类问题拆解为简单的是非判断。而支撑这棵 “树” 生长的核心，正是熵（Entropy）与信息增益（Information Gain）—— 前者衡量数据的 “混乱程度”，后者决定分支的 “最优方向”。今天，我们就结合 PPT 中的经典案例，从基础概念到实战计算，完整拆解决策树的核心原理。

一车小面包

机器学习--决策树决策树是一种监督学习算法，用于分类和回归任务。它通过从数据集中学习规则来预测目标变量的值。决策树模型以树的形式表示，其中内部节点代表特征或属性上的测试，分支代表测试结果，而叶节点代表类别（对于分类任务）或输出值（对于回归任务）

legendary_bruce

【22-决策树】决策树和树集成 decisiontrees and tree ensembles例子：猫分类，在一家猫咪收留中心，需要训练一个分类器快速地识别一个动物是否是猫；

机器学习-决策树（DecisionTree）(信息熵和基尼指数的公式都是构造出来的，根据现有的理论用创造一个满足所有理论因素的公式来描述)信息熵（Information Entropy）用来衡量信息的不确定性或随机性程度。