数据分析基础之《numpy(1)—介绍》

一、numpy介绍

1、numpy

数值计算库

num - numerical 数值化的

py - python

2、numpy是一个开源的python科学计算库,用于快速处理任意维度的数组

numpy支持常见的数组和矩阵操作。对于同样的数值计算任务,使用numpy比直接使用python要简洁的多

numpy使用ndarray对象来处理多维数组,该对象是一个快速而灵活的大数据容器

二、ndarray介绍

1、numpy提供了一个n维数组类型ndarry,它描述了相同类型的items的集合

2、ndarray

n - 任意个

d - dimension 维度

array - 数组

3、用numpy存储

python 复制代码
import numpy as np

score = np.array([[80, 89, 86, 67, 79],
[78, 97, 89, 67, 81],
[90, 94, 78, 67, 74],
[91, 91, 90, 67, 69],
[76, 87, 75, 67, 86],
[70, 79, 84, 67, 84],
[94, 92, 93, 67, 64],
[86, 85, 83, 67, 80]])

score

三、ndarray与python原生list运算效率对比

1、使用python列表可以存储一维数组,通过列表的嵌套可以实现多维数组,那么为什么还需要使用numpy的dnarray呢?

2、我们通过一段代码运行来体会到ndarray的好处

python 复制代码
# ndarray与python原生list运算效率对比
import random
import time
import numpy as np

# 生成一个大数组
a = []
for i in range(100000000):
    a.append(random.random())

# 原生python list求和
t1 = time.time()
sum1 = sum(a)
t2 = time.time()

# ndarray求和
b = np.array(a)
t4 = time.time()
sum3 = np.sum(b)
t5 = time.time()

print(t2-t1, t5-t4)

时间相差近6倍

3、从中我们看到ndarray的计算速度要快很多,节约了时间

4、机器学习的最大特点就是大量的数据运算,那么如果没有一个快速的解决方案,那可能现在python也在机器学习领域达不到好的效果

5、numpy专门针对ndarray的操作和运算进行了设计,所以数组的存储效率和输入输出性能远优于python中的嵌套列表,数组越大,numpy的优势就越明显

四、ndarray的优势

1、内存块存储风格

ndarray - 相同类型,通用性差

list - 不同类型,通用性强

从图中我们可以看出ndarray在存储数据的时候,数据与数据地址都是连续的,这样就给使得批量操作数据元素的速度更快

这时因为ndarray中的所有元素的类型都是相同的,而python列表中的元素类型是任意的,所以ndarray在存储元素时内存可以连续,而python原生list就只能通过寻址方式找到下一个元素,这虽然也导致了在通用性方面ndarray不及python原生list,但是在科学计算中,ndarray就可以省掉很多循环语句,代码使用方面比python原生list简单的多

2、并行化运算

ndarray支持并行化运算(向量化运算)

3、底层语言

numpy底层使用C语言编写,内部解除了GIL(全局解释器锁),其对数组的操作速度不受python解释器的限制,效率远高于纯python代码

相关推荐
2501_9436953318 小时前
高职大数据技术专业,怎么参与开源数据分析项目积累经验?
大数据·数据分析·开源
实时数据20 小时前
一手资料结合大数据分析挖掘海量信息中的价值了解用户真实需求 实现精准营销
数据挖掘·数据分析
码界筑梦坊21 小时前
330-基于Python的社交媒体舆情监控系统
python·mysql·信息可视化·数据分析·django·毕业设计·echarts
invicinble21 小时前
对于对产品的理解
大数据·信息可视化·数据分析
城数派21 小时前
2026年1月全国各省市路网数据(Shp)
数据分析
岱宗夫up1 天前
Python 数据分析入门
开发语言·python·数据分析
码界筑梦坊1 天前
327-基于Django的兰州空气质量大数据可视化分析系统
python·信息可视化·数据分析·django·毕业设计·数据可视化
毕设源码-郭学长2 天前
【开题答辩全过程】以 基于python的二手房数据分析与可视化为例,包含答辩的问题和答案
开发语言·python·数据分析
2501_943695332 天前
高职大数据与会计专业,考CDA证后能转纯数据分析岗吗?
大数据·数据挖掘·数据分析
爱吃泡芙的小白白2 天前
环境数据多维关系探索利器:Pairs Plot 完全指南
python·信息可视化·数据分析·环境领域·pairs plot