数据分析、数据挖掘常用的数据清洗方法

数据清洗目的:一是为了解决数据质量问题;二是为了使数据更适合模型分析挖掘。

数据的完整性---例如:人的属性中缺少性别

数据的唯一性---例如:不同来源的数据出现重复

数据的权威性---例如:同一个指标出现多个来源的数据且数值不同

数据的合法性---例如:获取的数据与常识不符,年龄大于200岁

数据的一致性---例如:不同来源的不同指标,实际内涵是一样的,或同一指标内涵不一致

一、数据质量问题

数据清洗的结果是对各种脏数据进行对应方式处理,得到标准的、干净的、连续的数据提供给模型训练。

1、解决数据完整性

数据缺失,填补数据就好了。

(1)通过其他数据信息补全,例如使用身份证号码推算性别、出生日期、年龄等

(2)通过前后数据补全,例如时间序列缺数据,可以使用前后的均值,缺的多了,可以使用平滑等处理

(3)实在补不全,虽然可惜,但是必须要剔除,但是不要删除,也许以后可以用的上

2、解决数据唯一性

去除重复值,保留一条

(1)按主键去重

(2)按规则去重,如:保留第一次出现,或保留最后一次出现的

3、解决数据权威性

用最权威的渠道数据

对不同渠道设定权威级别

4、解决数据合法性

(1)设定强制合法规则,凡是不在此规则范围内的,强制设为最大值,或者判为无效,剔除

(2)离群值人工特殊处理,使用分箱、聚类、回归等方式发现离群值

5、解决数据一致性

建立数据体系

二、数据更适合分析挖掘

1、高维度 --不适合------降维(主成分、随机森林)

2、维度太低--不适合 ---(各种汇总、平均、加总、最大、最小等;各种离散化,聚类、自定义分组)

3、无关信息--减少存储---(删除字段)

4、字段冗余 -- 相关系数很高 --(删除)

5、多指标数值、单位不同 ----(归一化

相关推荐
Coovally AI模型快速验证2 分钟前
3D目标跟踪重磅突破!TrackAny3D实现「类别无关」统一建模,多项SOTA达成!
人工智能·yolo·机器学习·3d·目标跟踪·无人机·cocos2d
研梦非凡7 分钟前
CVPR 2025|基于粗略边界框监督的3D实例分割
人工智能·计算机网络·计算机视觉·3d
MiaoChuAI12 分钟前
秒出PPT vs 豆包AI PPT:实测哪款更好用?
人工智能·powerpoint
He19550125 分钟前
Go初级之十:错误处理与程序健壮性
开发语言·python·golang
fsnine36 分钟前
深度学习——残差神经网路
人工智能·深度学习
和鲸社区1 小时前
《斯坦福CS336》作业1开源,从0手搓大模型|代码复现+免环境配置
人工智能·python·深度学习·计算机视觉·语言模型·自然语言处理·nlp
fanstuck1 小时前
2025 年高教社杯全国大学生数学建模竞赛C 题 NIPT 的时点选择与胎儿的异常判定详解(一)
人工智能·目标检测·数学建模·数据挖掘·aigc
cxr8281 小时前
Claude Code PM 深度实战指南:AI驱动的GitHub项目管理与并行协作
人工智能·驱动开发·github
豌豆花下猫2 小时前
Python 潮流周刊#118:Python 异步为何不够流行?(摘要)
后端·python·ai
THMAIL2 小时前
深度学习从入门到精通 - LSTM与GRU深度剖析:破解长序列记忆遗忘困境
人工智能·python·深度学习·算法·机器学习·逻辑回归·lstm