数据分析
数据分析是指用适当的方法对收集的数据进行分析,提取有用信息并且形成结论.
广义的数据分析包括狭义的数据分析和数据挖掘.狭义的数据分析是指根据目的,采用对比分析,分组分析,交叉分析,回归分析等分析方法,对数据进行分析和处理,得到特征统计量的过程.数据挖掘是指从大量的,不完全的,有噪声的,模糊的噪声中,通过应用聚类模型 分类模型 回归和关联规则等技术,挖掘潜在价值的过程.
数据预处理是指对数据进行数据合并、数据清洗、数据标准化、和数据变换。
数据合并是指将多张互相关的表格合并为一张。数据清洗是指去掉重复、缺失、异常的数据。数据标准化可以去除特征间的量纲差异。数据变换可以通过离散化、哑变量处理技术满足后期分析和建模的需求。
分析与建模是指通过对比分析、分组分析、交叉分析、回归分析等分析方法，以及聚类模型、分类模型、关联规则、智能推荐等模型与算法，发现数据中的有价值信息，并得出结论的过程。
模型评价。聚类模型评价指标有兰德系数、互信息。常用分类模型的评价指标有准确率、精确率、召回率、ROC和AUC。常用回归模型的评价指标有平均绝对误差、均方误差。
模型优化。模型达到性能之后，在实际的应用过程中，发现模型的性能并不理想，然后继续对模型进行重构和优化的过程。
数据分析应用
- 客户分析。根据已有的数据来对客户进行特征分析，用以判断用户的忠诚度、喜好，使得运营策略达到最优，提升企业的整体效益
- 社交媒体分析。通过不同社交媒体渠道生成的内容，分析客户的兴趣爱好、行为。
- 网络安全。传统的网络安全依靠静态防御，在发现病毒威胁的时候做出反应。新型的病毒防御系统可使用数据分析技术，建立潜在攻击分析模型、检测网络活动数据和相应的访问行为。
- 设备管理。通过物联网技术收集分析数据，包括连续用电、零部件温度、环境湿度和污染物颗粒等多种潜在特征，建立设备管理模型。
- 交通物流分析。
Numpy数值计算基础
数组对象
数组属性
- ndim。数组的维数
- shape。数组的尺寸
- size。数组元素的总数
- dtype。数组元素类型
- itemsize。每一个元素的大小（以字节为单位）
python
import numpy as np
array=np.array([1,2,3,4])
print(array.shape)
print(array.dtype)
print(array.itemsize)
print(array.size)
print(array.ndim)
numpy数组中所有元素必须都是同一类型的，这样可以更好确定数组所需要的存储空间。
生成随机数
python
import numpy as np
# 生成随机数
# 这里的随机数是伪随机数，随机数相关的函数都在random模块中，包括了生成多种概率分布的随机数的函数
a=np.random.random(10)
print(a)
# 生成均匀分布的随机数
b=np.random.rand(10)
print(b)
#生成正太分布
c=np.random.randn(10)
print(c)
# randint 生成给定范围的是随机数 randint(low,high,size,dtype)
d=np.random.randint(1,10,1)
print(d)
# permutation 返回一个序列的随机排列
e=np.arange(1,10,1)
print(e)
np.random.shuffle(e)
print(np.random.permutation(e))
print(e)
# beta分布
f=np.random.beta(1,10,1)
print(f)矩阵和通用函数
矩阵是ndarray的子类。numpy提供了两个基本的对象，一个是N维数组，一个是通用的函数对象。矩阵是建立在一维数组之上的二维数组。
python
import numpy as np
# matrix创建矩阵
a=np.matrix([[1,2,3],[4,5,6]])
print(a)
print(a.ndim)
#矩阵数乘
b=a*3
print(b)
# 矩阵相加
c=a+b
print(c)
# 矩阵相乘
d=a*c.T
print(d)
#矩阵对应元素相乘
f=np.multiply(a,b)
print(f)
#转置矩阵
print(a.T)
#逆矩阵
print(a.I)
# 共轭转置
print(a.H)ufnc函数
ufunc函数是一种可以对数组中所有元素都进行操作的函数。
python
import numpy as np
# 常用的数组运算
x=np.array([1,2,3])
y=np.array([4,5,6])
print('数组相乘',x*y) #对应元素相乘
print('数组相除',x/y)
print('数组幂运算',x**y)
# 比较运算
print('数组比较结果',x>y)
# 逻辑运算
print('逻辑运算',np.all(x==y))numpy进行数据分析
读写文件
NumPy的文件读/写主要有二进制的文件读/写和文件列表形式的数据读/写两种形式。学会读/写文件是利用NumPy进行数据处理的基础
python
import numpy as np
x=np.arange(1,10,1)
print(x)
y=np.array([1,2,3])
# 保存数组
np.save('./save_arr.npy',x)
# 导入数组
b=np.load('./save_arr.npy')
print(b)
#保存多个数组
np.savez('./hh.npz',x,y)
# 导入数组
c=np.load('./hh.npz')
print(c['arr_0'])
print(c['arr_1'])
python
import numpy as np
# savetxt保持到txt文件中
a=np.arange(1,10,1).reshape(3,3)
print(a)
np.savetxt('./hh.txt',a,fmt='%d')
b=np.loadtxt('./hh.txt')
print(b)统计分析
排序
python
import numpy as np
a=np.arange(1,10,1)
np.random.shuffle(a)
print(a)
# 排序
# 直接排序，直接对数值进行排序
b=np.sort(a,axis=0)
print('直接排序',b)
# 间接排序，根据一个值对数据集进行排序
c=np.argsort(a) #返回重新排序值的下标
print('间接排序',c)
d=a[c]
print('排序后的结果',d)去重和重复数据
python
import numpy as np
names=np.array(['小黄','小白','小明','小白'])
# 去重
a=np.unique(names)
print('去重后的数组',a)
#重复
b=np.tile(names,3)
print('重复三次',b)
c=np.repeat(names,3,axis=0)
print(c)常用的统计函数
python
import numpy as np
a=np.arange(20).reshape(4,5)
print(a)
# 计算数组的和
print(np.sum(a))
print(np.sum(a,axis=0))
print(np.sum(a,axis=1))
# 计算均值
print(np.mean(a))
# 计算标准差
print(np.std(a,axis=0))
# 计算方差
print(np.var(a))
# 计算最小元素索引
print(np.argmin(a))参考：