08,DataFrame创建
DataFrame是一个【表格型】的数据结构,可以看做是【由Series组成的字典】(共用同一个索引)。DataFrame由按一定顺序排列的多列数据组成。设计初衷是将Series的使用场景从一维拓展到多维。DataFrame既有行索引,也有列索引。
- 行索引:index
- 列索引:columns
- 值:values(Numpy的二维数组)
(8.1)DataFrame的创建
最常用的方法是传递一个字典来创建。DataFrame以字典的键作为每一【列】的名称,以字典的值(一个数组)作为每一列。此外,DataFrame会自动加上每一行的索引(和Series一样)。
同Series一样,若传入的列与字典的键不匹配,则相应的值为NaN。
DataFrame的基本属性和方法:
- values 值,二维ndarray数组
- columns 列索引
- index 行索引
- shape 形状
- head() 查看前几条数据,默认5条
- tail() 查看后几条数据,默认5条
其他创建DataFrame的方式
09,DataFrame切片
【注意】直接用中括号时:
- 索引优先对列进行操作
- 切片优先对行进行操作
总结:
- 要么取一行或一列:索引
- 要么取连续的多行或多列:切片
- 要么取不连续的多行或多列:中括号
010,DataFrame运算
(10.1)DataFrame之间的运算
- 在运算中自动补齐不同索引的数据
- 如果索引不对应,则补NaN
- DataFrame没有广播机制
创建DataFrame df1 不同人员的各科目成绩,月考一
创建DataFrame df2 不同人员的各科目成绩,月考二
DataFrame和标量之间的运算
DataFrame之间的运算
使用.add() 函数,填充数据
(10.2)Series与DataFrame之间的运算
- 使用Python操作符:以行为单位操作(参数必须是行),对所有行都有效。
- 类似于NumPy中二维数组与一维数组的运算,但可能出现NaN
- 使用Pandas操作函数:
- axis=0:以列为单位操作(参数必须为列),对所有列都有效。
- axis=1:以行为单位操作(参数必须为行),对所有行都有效。
011,创建层次化索引
(11.1)创建多层行索引
(11.1.1)隐式构造
最常见的方法是给DataFrame构造函数的index参数传递两个或更多的数组
- Series也可以创建多层索引
(11.1.2)显示构造pd.MultiIndex
- 使用数组
- 使用tuple
- 使用product
- 笛卡尔积
(11.2)多层列索引
除了行索引index,列索引columns也能用同样的方法创建多层索引
就是把pd.MultIndex. 移到columns那里去
012,多层索引中Series的索引和切片操作
(12.1)Series的操作
- 对于Series的操作,直接中括号[] 与使用.loc() 完全一样
(12.1.1)索引
(12.1.2)切片
013,多层索引中DataFrame的索引和切片操作
(13.1)索引
(13.2)切片
014,索引的堆叠
(14.1)stack():将列索引变成行索引
(14.2)unstack():将行索引变成列索引
(14.3)使用fill_value填充
015,聚合操作
(15.1)DataFrame聚合函数
- 求和
- 平均值
- 最大值
- 最小值等
(15.2)多层索引聚合操作
016,数据合并concat
为方便讲解,我们首先定义一个生成DataFrame的函数:
示例:
使用pd.concat()级联
pandas使用pd.concat函数,与np.concatenate函数类似
(16.1)简单级联
忽略行索引 ignore_index
使用多层索引 keys
(16.2)不匹配级联
不匹配指的是级联的维度的索引不一致。例如纵向级联时列索引不一致,横向级联时行索引不一致
外连接:补NaN(默认模式)
内连接:只连接匹配的项
017,数据合并merge合并1
- 类似于MySQL中表和表直接的合并
- merge与concat的区别在于,merge需要依据某一共同的行或列来进行合并
- 使用pd.merge() 合并时,会自动根据两者相同column名称的那一列,作为key来进行合并。
- 每一列元素的顺序不要求一致
(17.1)一对一合并
(17.2)多对一合并
(17.3)多对多合并
(17.4)key的规范化
- 使用on = 显式指定哪一列为key,当2个DataFrame有多列相同时使用
- 使用left_on和right_on指定左右两边的列作为key,当左右两边的key都不相等时使用
- 当左边的列和右边的index相同的时候,使用right_index=True
018,数据合并merge合并2
(18.1)内合并与外合并
- 内合并:只保留两者都有的key(默认模式)
- 外合并 how='outer':补NaN
- 左合并,右合并:how='left',how='right'
(18.2)列冲突的解决
当列冲突时,即有多个列名称相同时,需要使用on=来指定哪一个列作为key,配合suffixes指定冲突列名
可以使用suffixes=自己指定后缀
merge合并总结:
- 合并有三种现象:一对一,多对一,多对多。
- 合并默认会找相同的列名进行合并,如果有多个列名相同,用on来指定。
- 如果没有列名相同,但是数据又相同,可以通过left_on,right_on来分别指定要合并的列。
- 如果想和index合并,使用left_index,right_index来指定。
- 如果多个列相同,合并之后可以通过suffixes来区分。
- 还可以通过how来控制合并的结果,默认是内合并,还有外合并outer,左合并left,右合并right。
019,缺失值处理nan
np.nan是浮点类型,能参与到计算中。但计算的结果总是NaN。
020,缺失值检测
(20.1)Pandas中None与np.nan都视作np.nan
- 创建DataFrame
- 使用DataFrame行索引与列索引修改DataFrame数据
(20.2)pandas中None与np.nan的操作
(20.2.1)判断函数
- isnull()
- notnull()
021,缺失值处理_过滤数据
(21.1)使用bool值过滤数据
(21.2)过滤函数dropna
(21.2.1)可以选择过滤的是行还是列(默认为行)
ps:这里数据变了
(21.2.2)也可以选择过滤的方式 how = 'all'
(21.2.3)inplace=True 修改原数据
022,缺失值处理_填充空值
(22.1)填充函数 fillna() Series/DataFrame
(22.2)可以选择前向填充还是后向填充
重新创建数据
也可以不用重新创建数据,因为没有用到 inplace=True
023,重复值处理
(23.1)使用duplicated() 函数检测重复的行
- 返回元素为布尔类型的Series对象
- 每个元素对应一行,如果该行不是第一次出现,则元素为True
(23.2)使用drop_duplicates() 函数删除重复的行
024,替换元素replace
使用replace() 函数,对values进行替换操作
025,数据映射map
map()函数中可以使用lamba函数
026,修改索引名rename
027,重置索引reset_index和设置索引set_index
028,数据处理apply
apply() 函数:既支持 Series,也支持DataFrame
029,数据处理transform
030,异常值检测和过滤1
(30.1)describe() :查看每一列的描述性统计量
(30.2)df.std() :可以求得DataFrame对象每一列的标准差
(30.3)df.drop() :删除特定索引
031, 异常值检测和过滤2
(31.1)unique() :唯一,去重
(31.2)df.query:按条件查询
032,异常值检测和过滤3
(32.1)df.sort_values():根据值排序;df.sort_index():根据索引排序
重新创建数据
035,常用聚合函数(count,max,min,median,sum,mean)
038,数据分组聚合
数据聚合是数据处理的最后一步,通常是要使每一个数组生成一个单个的数值。
数据分类处理:
- 分组:先把数据分为几组
- 用函数处理:为不同组的数据应用不同的函数以转换数据
- 合并:把不同组得到的结果合并起来
数据分类处理的核心:groupby()函数
使用.groups属性查看各行的分组情况: