数据分析基础之《numpy(1)—介绍》

一、numpy介绍

1、numpy

数值计算库

num - numerical 数值化的

py - python

2、numpy是一个开源的python科学计算库,用于快速处理任意维度的数组

numpy支持常见的数组和矩阵操作。对于同样的数值计算任务,使用numpy比直接使用python要简洁的多

numpy使用ndarray对象来处理多维数组,该对象是一个快速而灵活的大数据容器

二、ndarray介绍

1、numpy提供了一个n维数组类型ndarry,它描述了相同类型的items的集合

2、ndarray

n - 任意个

d - dimension 维度

array - 数组

3、用numpy存储

python 复制代码
import numpy as np

score = np.array([[80, 89, 86, 67, 79],
[78, 97, 89, 67, 81],
[90, 94, 78, 67, 74],
[91, 91, 90, 67, 69],
[76, 87, 75, 67, 86],
[70, 79, 84, 67, 84],
[94, 92, 93, 67, 64],
[86, 85, 83, 67, 80]])

score

三、ndarray与python原生list运算效率对比

1、使用python列表可以存储一维数组,通过列表的嵌套可以实现多维数组,那么为什么还需要使用numpy的dnarray呢?

2、我们通过一段代码运行来体会到ndarray的好处

python 复制代码
# ndarray与python原生list运算效率对比
import random
import time
import numpy as np

# 生成一个大数组
a = []
for i in range(100000000):
    a.append(random.random())

# 原生python list求和
t1 = time.time()
sum1 = sum(a)
t2 = time.time()

# ndarray求和
b = np.array(a)
t4 = time.time()
sum3 = np.sum(b)
t5 = time.time()

print(t2-t1, t5-t4)

时间相差近6倍

3、从中我们看到ndarray的计算速度要快很多,节约了时间

4、机器学习的最大特点就是大量的数据运算,那么如果没有一个快速的解决方案,那可能现在python也在机器学习领域达不到好的效果

5、numpy专门针对ndarray的操作和运算进行了设计,所以数组的存储效率和输入输出性能远优于python中的嵌套列表,数组越大,numpy的优势就越明显

四、ndarray的优势

1、内存块存储风格

ndarray - 相同类型,通用性差

list - 不同类型,通用性强

从图中我们可以看出ndarray在存储数据的时候,数据与数据地址都是连续的,这样就给使得批量操作数据元素的速度更快

这时因为ndarray中的所有元素的类型都是相同的,而python列表中的元素类型是任意的,所以ndarray在存储元素时内存可以连续,而python原生list就只能通过寻址方式找到下一个元素,这虽然也导致了在通用性方面ndarray不及python原生list,但是在科学计算中,ndarray就可以省掉很多循环语句,代码使用方面比python原生list简单的多

2、并行化运算

ndarray支持并行化运算(向量化运算)

3、底层语言

numpy底层使用C语言编写,内部解除了GIL(全局解释器锁),其对数组的操作速度不受python解释器的限制,效率远高于纯python代码

相关推荐
Carl_奕然7 小时前
【数据挖掘】数据挖掘必会技能之:A/B测试
人工智能·python·数据挖掘·数据分析
数据智研10 小时前
【数据分享】(2005–2016年)基于水资源承载力的华北地区降水与地下水要素数据
大数据·人工智能·信息可视化·数据分析
UrbanJazzerati11 小时前
解码数据分布:茎叶图和箱形图初学者指南
面试·数据分析
少林码僧12 小时前
2.29 XGBoost、LightGBM、CatBoost对比:三大梯度提升框架选型指南
人工智能·机器学习·ai·数据挖掘·数据分析·回归
Golang编程笔记13 小时前
电商数据分析的未来发展路径
ai·数据挖掘·数据分析
城数派21 小时前
2019-2025年各区县逐月新房房价数据(Excel/Shp格式)
大数据·数据分析·excel
橙露21 小时前
从零基础到实战:Python 数据分析三剑客(Pandas+NumPy+Matplotlib)核心应用指南
python·数据分析·pandas
YangYang9YangYan1 天前
2026高职大数据与会计专业学数据分析的技术价值分析
大数据·数据挖掘·数据分析
FIT2CLOUD飞致云2 天前
操作教程|DataEase企业总-分公司数据填报场景搭建实践
数据分析·开源·数据可视化·dataease·bi
DX_水位流量监测2 天前
无人机测流之雷达流速仪监测技术分析
大数据·网络·人工智能·数据分析·自动化·无人机