【数据操作与可视化】Pandas数据处理-其他操作

【数据操作与可视化】Pandas数据处理-其他操作

一、不同df进行拼接

有时我们需要把不同的df合在一起,这时就要用到dataframe的拼接操作。

python 复制代码
import pandas as pd
df1 = pd.read_excel(r'数据拼接.xlsx')    # 3行4列
df2 = pd.read_excel(r'数据拼接.xlsx', sheet_name='data2')   # 4行3列
pd.concat([df1, df2])  # 默认竖向拼接
pd.concat([df1, df2], ignore_index=True)   # 重新自动设置索引
pd.concat([df1, df2], axis=1)   # 设置横向拼接
# 练习:利用concat方法在df中间插入一条记录
# 思路:先把原来的df拆分成两部分,然后再把它们和新的那行拼接在一起即可
df = pd.read_excel('数值操作.xlsx')
df_first = df[:5]
df_second = df[5:]
df_new = pd.DataFrame({'订单编号':'AAAA',
                       '客户姓名': 'billy',
                       '唯一识别码': 999,
                       '购买日期': '2020-09-10',
                       '年龄': 18,
                       '消费金额': 1000}, index=[0])
pd.concat([df_first, df_new, df_second], ignore_index=True)

二、数据分组

分组操作相当于数据库中的group by操作,通常用于对数据进行统计操作

bash 复制代码
# 1. 
df = pd.read_excel('数据分组.xlsx')
print(df)
# 通过group by指定分组依据。注意,统计方法后面不能加参数,比如count后面不能有参数,否则报错
print(df.groupby('学生ID').count())
# print(df.groupby('学生ID').count('科目'))  # 报错
# sum操作只针对于float,int等数值类型的列才进行操作
print(df.groupby('学生ID').sum())
# 按照多列来进行分组,如果分组后面没有指定列名,默认会对所有列进行count操作
print(df.groupby(['学生ID', '科目']).count())
# 分组后面的列叫统计列。,可以在group by后面指定列名。如果要统计的列有多列的话,必须加[]括起来
print(df.groupby(['学生ID'])[['成绩']].count())   # 学生ID分组后,只统计成绩这列
print(df.groupby(['学生ID'])[['成绩', '授课老师']].count())# 统计成绩和授课老师两列
# aggregate方法的使用, 它可以同时在指定的统计列上做不同的统计计算,也就是想同时进行多种统计计算时,可以使用aggregate方法来实现
print(df.groupby('所在年级')[['成绩', '年龄']].aggregate(['mean', 'max']))
# 分组后再对不同的字段采用不同的统计方法
print(df.groupby('所在年级').aggregate({
    '科目': 'count',   # 针对科目这列计数
    '成绩': 'mean',
    '年龄': 'max'
}))
print(df.groupby('所在年级').aggregate({
    '科目': 'count',   
    '成绩': 'mean',
    '年龄': ['max', 'median']   # 对某一列进行多种统计
}))

三、数据导出

在pandas中要将df导出为其他格式的文件,只需要统一调用pandas的to_xxx()方法即可。

python 复制代码
# 在工作路径导出为excel文件。注意,有些电脑上可能会出现缺乏openyxl模块导致的错误,如果报错的话可以自己用pip装一下。
df1.to_excel('test.xlsx')
# 指定sheet名称
df1.to_excel('test.xlsx', sheet_name='新sheet')
# 去掉默认的索引
df.to_excel(r'导出数据.xlsx', index = False)
# 设置要导出的列
df.to_excel(r'导出数据.xlsx', index=False, columns=['列2', '列3'])
# 导出为csv文件时,含有中文必须加encoding参数
df.to_csv('测试保存csv.csv', encoding='utf_8_sig')  # encoding可以设置为utf_8_sig和gbk
相关推荐
2601_967980111 小时前
Flask Web 应用
python·flask·web开发·环境变量·虚拟环境
aifannihao2 小时前
ß 大写变 SS:用 Python 算清 Ruby2Shell 的缓冲区账本
python·安全·标准库·缓冲区溢出·字符串编码
liwulin05062 小时前
【OLLAMA】调用SKILL的通用ReAct
python
郝学胜-神的一滴3 小时前
Effective Python 条款36:优雅拼装迭代器与生成器
开发语言·数据结构·人工智能·python·numpy·scikit-learn
2601_967979123 小时前
pandas重塑层次化索引(stack()和unstack()函数解析)
pandas·重塑·层次化索引·stack()·unstack()
Norna4 小时前
Git 给路径加了引号,这个文件就从 review 里消失了
python
wuyk5554 小时前
Python办公自动化-第04讲-批量新建Excel
开发语言·python·excel
wuyk5554 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
JonaHu5 小时前
关键词排名突然消失?用 Python、SQLite 和 SERP API 搭一套可解释的 SEO 监控
python·sqlite·seo·serp api
prince_zxill6 小时前
把 17 个散文件装进一个文件夹:拆解 claude-plugins-official 的插件打包术(47,413 Star 实测)
python·github·agent·mcp·claude code