数据分析基础之《numpy(6)—IO操作与数据处理》

了解即可,用panads

一、numpy读取

1、问题

大多数数据并不是我们自己构造的,而是存在文件当中,需要我们用工具获取

但是numpy其实并不适合用来读取和处理数据,因此我们这里了解相关API,以及numpy不方便的地方即可

2、np.genfromtxt(fname, dtype, comments, delimiter, ...)

说明:

fname:文件名,也可以是字符串、列表、StringIO对象、迭代器等,如果是文件名是 '.gz' or '.bz2',还可以自动解压处理

dtype:指定数据类型(不同类型需要指定)

delimiter:分隔符(比如一般使用",")

3、例子

python 复制代码
id,value1,value2,value3
1,123,1.4,23
2,110,,10
3,,2.1,19
python 复制代码
# numpy读取
data = np.genfromtxt(fname="test.csv", delimiter=",")

data

但是有问题,第一行字符串没有读出来

numpy是运算工具,所以不支持读取字符串

二、如何处理缺失值

1、什么是缺失值

什么时候numpy中会出现nan:当我们读取本地的文件为float的时候,如果为空,就会出现nan。或者读取字符串也会出现nan

2、缺失值处理

那么,在一组数据中单纯的把nan替换为0,合适吗?会带来什么样的影响?

比如,全部替换为0后,替换之前的平均值如果大于0,替换之后的均值肯定会变小,所以更一般的方式是把缺失的数值替换为均值(或中值)或者直接删除有缺失值的一行

3、替换/插补法

求这一列的平均值或者中位数

也很麻烦,用pandas

4、如何删除有缺失值的那一行(列)

在pandas中介绍

相关推荐
roman_日积跬步-终至千里2 小时前
【数据建模入门】从一家小店看懂数仓与机器学习:先理业务,再串技术
数据仓库·人工智能·机器学习·数据分析·数据建模
钱工的门窗技术笔记12 小时前
室内极窄全景移门的支承路径与预留接口:轨道形式、型材壁厚口径与验收边界
物联网·架构·数据分析
quantdash_cc13 小时前
如何验证历史行情的交易日期是否完整覆盖研究区间?
python·数据分析·pandas·量化交易·股票数据·quantdash
quantdash_cc19 小时前
ETF 行情数据清洗实战:字段语义拆解、标的池整理与五个校验清单
python·数据分析·pandas·量化交易·股票数据·quantdash
Leo.yuan1 天前
2026年可信AI数据分析平台研究:主流厂商的可信机制、能力边界与企业选型
人工智能·数据挖掘·数据分析
Highcharts.js1 天前
CSUN 2026|Highcharts无障碍数据与AI分享
javascript·人工智能·数据分析·highcharts·图表开发
梯度下降者1 天前
零基础入门Python 爬虫
爬虫·python·数据分析·入门指南·webcrawler
benchmark_cc2 天前
用 Python 拉 A 股全市场实时快照:Notebook 请求、结果校验与易错点
python·数据分析·pandas·量化交易·股票数据·quantdash
SelectDB2 天前
Doris Arrow Flight SQL 高速读取协议实战:与 Snowflake 客户端取数链路对照
大数据·数据库·数据分析
Asa121382 天前
Nature Ecology & Evolution|深层土壤病毒如何连接微生物残体形成与碳稳定化
数据分析