数据分析基础之《numpy(6)—IO操作与数据处理》

了解即可,用panads

一、numpy读取

1、问题

大多数数据并不是我们自己构造的,而是存在文件当中,需要我们用工具获取

但是numpy其实并不适合用来读取和处理数据,因此我们这里了解相关API,以及numpy不方便的地方即可

2、np.genfromtxt(fname, dtype, comments, delimiter, ...)

说明:

fname:文件名,也可以是字符串、列表、StringIO对象、迭代器等,如果是文件名是 '.gz' or '.bz2',还可以自动解压处理

dtype:指定数据类型(不同类型需要指定)

delimiter:分隔符(比如一般使用",")

3、例子

python 复制代码
id,value1,value2,value3
1,123,1.4,23
2,110,,10
3,,2.1,19
python 复制代码
# numpy读取
data = np.genfromtxt(fname="test.csv", delimiter=",")

data

但是有问题,第一行字符串没有读出来

numpy是运算工具,所以不支持读取字符串

二、如何处理缺失值

1、什么是缺失值

什么时候numpy中会出现nan:当我们读取本地的文件为float的时候,如果为空,就会出现nan。或者读取字符串也会出现nan

2、缺失值处理

那么,在一组数据中单纯的把nan替换为0,合适吗?会带来什么样的影响?

比如,全部替换为0后,替换之前的平均值如果大于0,替换之后的均值肯定会变小,所以更一般的方式是把缺失的数值替换为均值(或中值)或者直接删除有缺失值的一行

3、替换/插补法

求这一列的平均值或者中位数

也很麻烦,用pandas

4、如何删除有缺失值的那一行(列)

在pandas中介绍

相关推荐
大神薯条老师1 小时前
Python从入门到高手4.3节-掌握跳转控制语句
后端·爬虫·python·深度学习·机器学习·数据分析
LHNC5 小时前
2024.9.29 问卷数据分析
数据分析
知识分享小能手5 小时前
mysql学习教程,从入门到精通,SQL 修改表(ALTER TABLE 语句)(29)
大数据·开发语言·数据库·sql·学习·mysql·数据分析
bin915312 小时前
【EXCEL数据处理】000009 案列 EXCEL单元格数字格式。文本型数字格式和常规型数字格式的区别
大数据·前端·数据库·信息可视化·数据分析·excel·数据可视化
PhyliciaFelicia1 天前
基于R语言机器学习遥感数据处理与模型空间预测
开发语言·深度学习·随机森林·机器学习·数据分析·r语言
bin91531 天前
【EXCEL数据处理】000014 案例 EXCEL分类汇总、定位和创建组。附多个操作案例。
信息可视化·数据挖掘·数据分析·excel·数据可视化·数据图表·excel 数据分析
技术猿188702783511 天前
淘宝商品详情API接口多线程调用:解锁数据分析行业的效率新篇章
数据挖掘·数据分析
bin91531 天前
【EXCEL数据处理】000011 案列 EXCEL带有三角形图标的单元格转换,和文本日期格式转换。
大数据·数据库·信息可视化·数据挖掘·数据分析·excel·数据可视化
chusheng18401 天前
Python 如何使用 Pandas 进行数据分析
python·数据分析·pandas