数据分析基础之《numpy(6)—IO操作与数据处理》

了解即可,用panads

一、numpy读取

1、问题

大多数数据并不是我们自己构造的,而是存在文件当中,需要我们用工具获取

但是numpy其实并不适合用来读取和处理数据,因此我们这里了解相关API,以及numpy不方便的地方即可

2、np.genfromtxt(fname, dtype, comments, delimiter, ...)

说明:

fname:文件名,也可以是字符串、列表、StringIO对象、迭代器等,如果是文件名是 '.gz' or '.bz2',还可以自动解压处理

dtype:指定数据类型(不同类型需要指定)

delimiter:分隔符(比如一般使用",")

3、例子

python 复制代码
id,value1,value2,value3
1,123,1.4,23
2,110,,10
3,,2.1,19
python 复制代码
# numpy读取
data = np.genfromtxt(fname="test.csv", delimiter=",")

data

但是有问题,第一行字符串没有读出来

numpy是运算工具,所以不支持读取字符串

二、如何处理缺失值

1、什么是缺失值

什么时候numpy中会出现nan:当我们读取本地的文件为float的时候,如果为空,就会出现nan。或者读取字符串也会出现nan

2、缺失值处理

那么,在一组数据中单纯的把nan替换为0,合适吗?会带来什么样的影响?

比如,全部替换为0后,替换之前的平均值如果大于0,替换之后的均值肯定会变小,所以更一般的方式是把缺失的数值替换为均值(或中值)或者直接删除有缺失值的一行

3、替换/插补法

求这一列的平均值或者中位数

也很麻烦,用pandas

4、如何删除有缺失值的那一行(列)

在pandas中介绍

相关推荐
Aloudata7 小时前
LookML 语义模型 vs 企业级独立语义层:BI 建模语言能否承担企业语义底座?
数据库·人工智能·数据分析·数据资产·dataagent
paopaokaka_luck7 小时前
基于springboot+vue的智慧家政管理系统(AI问答、 WebSocket实时沟通、ECharts运营分析、订单规则与服务追踪)
java·javascript·spring boot·数据分析·echarts·mybatis
2601_962780917 小时前
2027 届秋招|数学背景求职管理咨询,商业认知 + 数据分析能力构建方案
数据挖掘·数据分析
计算机毕业编程指导师10 小时前
【计算机毕设】基于Hadoop的人口统计特征与肥胖风险关联分析的数据分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·数据分析·课程设计·肥胖风险
标小白16 小时前
立达标讯:数据分析在招投标全流程中的战略价值与实践探索
大数据·数据挖掘·数据分析
橙时数据 FineInsight17 小时前
从异常识别到闭环执行:用业务本体连接规则、Agent与工作流
数据分析·指标体系·本体
杨超越luckly18 小时前
一线加新一线占61.7%,506家店,西西弗书店的“贵地生存法则”
数据分析·agent·可视化·西西弗书店·生意经
Aloudata18 小时前
Metric Layer 建设指南:如何先从核心指标层启动企业语义工程
大数据·人工智能·数据分析·data agent·语义层
Xiu Yan20 小时前
Python 数据分析:数据分析步骤
开发语言·python·数据分析
对空六课20 小时前
Vue 组件曝光埋点为什么会重复触发?去重方案与实现思路
服务器·前端·算法·数据分析