【数据处理】数据预处理·数据变换(熵与决策树)

🌈个人主页: 十二月的猫-CSDN博客

🔥 系列专栏: 🏀软件开发必备知识_十二月的猫的博客-CSDN博客

💪🏻 十二月的寒冬阻挡不了春天的脚步,十二点的黑夜遮蔽不住黎明的曙光

目录

[1. 前言](#1. 前言)

[2. 数据变换](#2. 数据变换)

[2.1 数据规范化](#2.1 数据规范化)

[​编辑 2.2 数据离散化](#编辑 2.2 数据离散化)

[2.2.1 非监督离散化](#2.2.1 非监督离散化)

[2.2.2 监督离散化](#2.2.2 监督离散化)


1. 前言

在进入这一篇文章之前,我希望大家看看另外两篇文章

【数据处理】数据预处理·数据清理-CSDN博客

【数据处理】数据预处理·数据集成-CSDN博客

核心思想:

1、大数据中最重要的部分就是数据处理

2、数据处理中第一步就是数据预处理

3、数据预处理目的是提高数据的质量,使得我们能使用更高质量的数据进行后续处理

4、数据预处理包括:数据清洗、数据集成、数据变换、数据规约
数据清洗:

1、缺失值处理

2、噪声处理
数据集成:

1、数据集成中最大的问题就是数据冗余

2、冗余数据包括:冗余样本、冗余属性

3、数据冗余中最重要的部分是:冗余检测

4、冗余检测包括:有序数据检测、无序数据检测

5、检测方式有两个角度:a. 将数据看成向量空间的点;b. 将数据看成向量


接下来,我们进入数据预处理的下一部分:数据变换

2. 数据变换

定义: 由于数据量之间的量纲、连续性 等不同导致不同数据之间不能比较,因此需要通过数据变换使他们具有可比性。

**数据变换包括 :**数据规范化、数据离散化

2.1 数据规范化

**目的:**将不同数据(属性)按一定规则进行缩放,使它们具有可比性

**举个例子:**体重和身高两个数据量之间不能比较,因为量纲不同,因此需要规范化

最小-最大规范化:(对原始数据进行线性变换。把数据A的观察值v从原始的 区间minA,maxA映 射到新区间 new_minA,new_maxA)【0-1规范化又称为归一化】

0-1规范化:

minA,maxA - new_minA,new_maxA规范化:

**用处:**能够调节两个属性的量纲,让两者可以比较

**缺点:**噪声影响非常大,对离群值很敏感

因此,提出z-score规范化!!!!

z-score规范化:

小数定标规范化:

2.2 数据离散化

连续数据过于细致,数据之间的关系难以分析,划分为离散化的区间,发现数据之间的关联,便于算法处理。

  • 思考什么是离散化?
  • 离散化本质就是限制类的数量
  • 限制类的数量其核心思想和平滑是相同的
  • 平滑也就是我们进行数据清洗(缺失、噪声处理)的核心思想

2.2.1 非监督离散化

  • 分箱
  • 聚类

2.2.2 监督离散化

  • 熵的计算

**熵的本质思想:**信息不确定性越大,价值越大

例如:

1、"太阳从东边升起来"这个信息没有不确定性,这是一个必然事实。那么这个信息对于我们来说是没有价值的。

2、"特朗普将赢得大选"这个信息不确定性相当大(特朗普不一定赢)。因此,我们听到这个信息会很好奇,为什么特朗普将赢,因此这个信息价值很大。


那么如何利用熵来对数据进行离散化呢?

**离散化:**就是把数据的类别减少(限制类别数量)。

因此,**利用熵来实现离散化的关键在于:**为连续的数据进行有限的分类。

问题的关键就转化为:如何利用熵有效的对数据进行分类

分类方法:

  • D:待分类数据集
  • a:数据集的特征属性
  • V:数据集特征属性a的不同分类集合(V是我们找max过程中需要改变的)

举个例子:

如果想要学习更多深度学习知识,大家可以点个关注并订阅,持续学习、天天进步

你的点赞就是我更新的动力,如果觉得对你有帮助,辛苦友友点个赞,收个藏呀~~~

相关推荐
静水深码14 分钟前
文生图提示词的工程师写法:把玄学话术拆成结构化模板
人工智能·后端·代码规范
Seiran20 分钟前
Claude Fable 5.1写技术方案,ZEEKEAI提效实录
人工智能
JonaHu22 分钟前
GPT Image 2.6 多语言海报改版:保留商品细节,分离文案与图像验收
图像处理·人工智能·aigc
4cos9035 分钟前
pi学习笔记-BranchSummary
人工智能
程序员张富华42 分钟前
一次发布拦住12个破坏性变更:我们给Agent工作流加了Schema门禁
人工智能·agent
伞伞悦读1 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
老余说AI1 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
码农杂谈00072 小时前
不止三折叠:网易智企 IM UIKit 鸿蒙版一键升级多形态适配
人工智能
泯泷2 小时前
别再手动盯盘了!用这个免费工具实现股市自动监控
人工智能
陈如水2 小时前
Spring AI Alibaba 在多 Agent 场景下的实践
java·人工智能·spring