机器学习-探索性数据分析

美国加州房屋分析示例

导入要用的包

读取数据

读取的表有几行几列

展示前几行数据

找出那些缺失数据量小于总数据量的30%的列

将那些缺失数据量大于总数据量30%的列删掉,inplace=True表示直接对数据进行修改(执行完一次后表里就没有那些删除的列了)

展示各个数据列的数据类型

将与钱相关的列加入currency数组,之后分别对这些列用正则表达式将"$"",""-"号全部删掉,下一个是若是空字符串,直接转成numpy的not a number,之后将这些列的数据都转成float类型的数据

修改占地面积的数据类型

看各列数据的水平

可以发现有多个噪音(如最大总空间9999,最大卫生间数256等)

拿出房间面积小于10或大于10000的列(不正常的),第二行代码把除不正常数据之外的其他数据留下,再看有多少不正常的数据

观测价格分布

计数各个房子类型有多少个,这里只显示前20个

可以发现"SingleFamily"和"Single Family"未计数到一起,这也是噪音

将四种类型的房子拿出来,观察各个类型的房价分布

看各个类型房子的每平米的价格的分布,色块内的横线表示均值,色块上界和下界分别表示75%和25%的分位数

看不同邮政编码的房子的单位面积的均价分布

热力图观察各类变量之间的相关性

相关推荐
过期的秋刀鱼!7 小时前
决策树-测量纯度
人工智能·python·深度学习·算法·决策树·机器学习·数据挖掘
Asa121387 小时前
Nature Microbiology|陆域地下水微生物群落与深层生物圈的“微生物节俭“框架
数据分析
小小测试开发7 小时前
Trace 驱动回归:把线上 Agent 故障变成 CI 门禁的四步管道
人工智能·ci/cd·数据挖掘·回归
数模竞赛Paid answer18 小时前
2024年五一杯数学建模A题钢板最优切割路径问题求解全过程论文及程序
数学建模·数据分析·五一杯
白狐_7981 天前
408数据结构第5章:树与二叉树③——公式分类速查
数据结构·分类·数据挖掘
HAYDENR1 天前
数据挖掘如何实施?数据挖掘实施过程有哪些注意事项?
人工智能·数据挖掘
数据智研1 天前
【数据分享】中国民政统计年鉴(1949-2025)
大数据·人工智能·信息可视化·数据分析
TAICHIFEI1 天前
光片显微镜海量3D图像重建/拼接软件全分类
3d·分类·数据挖掘
雪山青木1 天前
全国微博签到数据201912-202004
大数据·爬虫·python·数据挖掘·数据分析·新浪微博
数模竞赛Paid answer1 天前
2019年深圳杯数学建模D题电视广告分户推送与营运规划解题全过程文档及程序
算法·数学建模·数据分析·深圳杯