数据挖掘-padans初步使用

糖果店的幽灵2024-10-08 17:41

目录标题

Jupyter Notebook

Jupyter（https://jupyter.org）项目是一个非营利性开源项目，于2014年由IPython项目中诞生，它能支持所有编程语言的交互式数据科学和科学计算。它的特点是能够在网页上直接执行编写的代码，同时支持动态交互，在做数据可视化时尤其方便

安装

shell 复制代码 
# 安装Jupyter Notebook，使用清华大学下载源加快下载速度
pip install jupyter -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 Jupyter Lab 的命令如下
pip install jupyterlab

启动

shell 复制代码 
jupyter notebook

这样就会在浏览器中打开一个网页

Pandas快速入门

python 复制代码 
import pandas as pd # 引入Pandas库，按惯例起别名pd

# 以下两种效果一样，如果是网址，它会自动将数据下载到内存
# df = pd.read_excel('https://www.gairuo.com/file/data/dataset/team.xlsx')
df = pd.read_excel('team.xlsx') # 文件在notebook文件同一目录下
# 如果是CSV，使用pd.read_csv()，还支持很多类型的数据读取
df

查看数据

python 复制代码 
import pandas as pd # 引入Pandas库，按惯例起别名pd

# 以下两种效果一样，如果是网址，它会自动将数据下载到内存
# df = pd.read_excel('https://www.gairuo.com/file/data/dataset/team.xlsx')
df = pd.read_excel('team.xlsx') # 文件在notebook文件同一目录下
# 如果是CSV，使用pd.read_csv()，还支持很多类型的数据读取
print(df.head()) # 打印前5行数据
print('================================================================')
print(df.tail()) # 打印后5行数据
print('================================================================')
print(df.sample()) # sample
print('================================================================')

验证数据

python 复制代码 
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
@Date          : 2024/10/4
@File          : pandas_start_one.py
@Author        : lw
@Description   : 
"""


import pandas as pd # 引入Pandas库，按惯例起别名pd

# 以下两种效果一样，如果是网址，它会自动将数据下载到内存
# df = pd.read_excel('https://www.gairuo.com/file/data/dataset/team.xlsx')
df = pd.read_excel('team.xlsx') # 文件在notebook文件同一目录下
# 如果是CSV，使用pd.read_csv()，还支持很多类型的数据读取
print('查看数据类型')
print(df.dtypes) # 查看数据类型
print('================================')
print('查看数据信息')
print(df.info) # 查看数据信息
print('================================')
print('查看数据统计信息')
print(df.describe()) # 查看数据统计信息 df.describe()会计算出各数字字段的总数（count）​、平均数 （mean）​、标准差（std）​、最小值（min）​、四分位数和最大值（max
print('================================')
print('查看数据索引')
print(df.axes)
print('================================')
print('查看数据列名')
print(df.columns)

查看数据类型

name object

team object

Q1 int64

Q2 int64

Q3 int64

Q4 int64

dtype: object

================================

查看数据信息

<bound method DataFrame.info of name team Q1 Q2 Q3 Q4

0 Liver E 89 21 24 64

1 Arry C 36 37 37 57

2 Ack A 57 60 18 84

3 Eorge C 93 96 71 78

4 Oah D 65 49 61 86

... ... ... ... ... ... ...

95 Gabriel C 48 59 87 74

96 Austin7 C 21 31 30 43

97 Lincoln4 C 98 93 1 20

98 Eli E 11 74 58 91

99 Ben E 21 43 41 74

[100 rows x 6 columns]>

================================

查看数据统计信息

Q1 Q2 Q3 Q4

count 100.000000 100.000000 100.000000 100.000000

mean 49.200000 52.550000 52.670000 52.780000

std 29.962603 29.845181 26.543677 27.818524

min 1.000000 1.000000 1.000000 2.000000

25% 19.500000 26.750000 29.500000 29.500000

50% 51.500000 49.500000 55.000000 53.000000

75% 74.250000 77.750000 76.250000 75.250000

max 98.000000 99.000000 99.000000 99.000000

================================

查看数据索引

[RangeIndex(start=0, stop=100, step=1), Index(['name', 'team', 'Q1', 'Q2', 'Q3', 'Q4'], dtype='object')]

================================

查看数据列名

Index(['name', 'team', 'Q1', 'Q2', 'Q3', 'Q4'], dtype='object')

Process finished with exit code 0

建立索引

以上数据真正业务意义上的索引是name列，所以我们需要使它成为索引：

python 复制代码 
#!/usr/bin/env python
# -*- coding: utf-8 -*-

import pandas as pd # 引入Pandas库，按惯例起别名pd

# 以下两种效果一样，如果是网址，它会自动将数据下载到内存
# df = pd.read_excel('https://www.gairuo.com/file/data/dataset/team.xlsx')
df = pd.read_excel('team.xlsx') # 文件在notebook文件同一目录下
# 如果是CSV，使用pd.read_csv()，还支持很多类型的数据读取
print('\n 原始表格 \n')
print(df)
print('\n 姓名为索引 \n')
df.index = df['name']
print(df)

原始表格

name team Q1 Q2 Q3 Q4

0 Liver E 89 21 24 64

1 Arry C 36 37 37 57

2 Ack A 57 60 18 84

3 Eorge C 93 96 71 78

4 Oah D 65 49 61 86

... ... ... ... ... ... ...

95 Gabriel C 48 59 87 74

96 Austin7 C 21 31 30 43

97 Lincoln4 C 98 93 1 20

98 Eli E 11 74 58 91

99 Ben E 21 43 41 74

[100 rows x 6 columns]

姓名为索引

name team Q1 Q2 Q3 Q4

name

Liver Liver E 89 21 24 64

Arry Arry C 36 37 37 57

Ack Ack A 57 60 18 84

Eorge Eorge C 93 96 71 78

Oah Oah D 65 49 61 86

... ... ... ... ... ... ...

Gabriel Gabriel C 48 59 87 74

Austin7 Austin7 C 21 31 30 43

Lincoln4 Lincoln4 C 98 93 1 20

Eli Eli E 11 74 58 91

Ben Ben E 21 43 41 74

[100 rows x 6 columns]

Process finished with exit code 0

数据选取

python 复制代码 
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
 


import pandas as pd # 引入Pandas库，按惯例起别名pd

# 以下两种效果一样，如果是网址，它会自动将数据下载到内存
# df = pd.read_excel('https://www.gairuo.com/file/data/dataset/team.xlsx')
df = pd.read_excel('team.xlsx') # 文件在notebook文件同一目录下
# 如果是CSV，使用pd.read_csv()，还支持很多类型的数据读取
# 查看指定列
print('查看 name列')
print(df['name'])
print('================================')
print('查看 name和Q1列')
print(df[['name','Q1']])
print('================================')

# 用指定索引选取
df[df.index == 'Liver'] # 指定姓名

# 用自然索引选择，类似列表的切片
print('查看前三行')
print(df[0:3]) # 取前三行
print('================================')
print('每两个取一个')
print(df[0:10:2]) # 在前10个中每两个取一个
print('================================')
print('查看前10行')
print(df.iloc[:10,:]) # 前10个
shell 复制代码 
查看 name列
0        Liver
1         Arry
2          Ack
3        Eorge
4          Oah
        ...   
95     Gabriel
96     Austin7
97    Lincoln4
98         Eli
99         Ben
Name: name, Length: 100, dtype: object
================================
查看 name和Q1列
        name  Q1
0      Liver  89
1       Arry  36
2        Ack  57
3      Eorge  93
4        Oah  65
..       ...  ..
95   Gabriel  48
96   Austin7  21
97  Lincoln4  98
98       Eli  11
99       Ben  21

[100 rows x 2 columns]
================================
查看前三行
    name team  Q1  Q2  Q3  Q4
0  Liver    E  89  21  24  64
1   Arry    C  36  37  37  57
2    Ack    A  57  60  18  84
================================
每两个取一个
     name team  Q1  Q2  Q3  Q4
0   Liver    E  89  21  24  64
2     Ack    A  57  60  18  84
4     Oah    D  65  49  61  86
6    Acob    B  61  95  94   8
8  Reddie    D  64  93  57  72
================================
查看前10行
     name team  Q1  Q2  Q3  Q4
0   Liver    E  89  21  24  64
1    Arry    C  36  37  37  57
2     Ack    A  57  60  18  84
3   Eorge    C  93  96  71  78
4     Oah    D  65  49  61  86
5  Harlie    C  24  13  87  43
6    Acob    B  61  95  94   8
7    Lfie    A   9  10  99  37
8  Reddie    D  64  93  57  72
9   Oscar    A  77   9  26  67

Process finished with exit code 0
python 复制代码 
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
@Date          : 2024/10/4
@File          : pandas_start_one.py
@Author        : liwei68
@Description   : 
"""


import pandas as pd # 引入Pandas库，按惯例起别名pd

# 以下两种效果一样，如果是网址，它会自动将数据下载到内存
# df = pd.read_excel('https://www.gairuo.com/file/data/dataset/team.xlsx')
df = pd.read_excel('team.xlsx') # 文件在notebook文件同一目录下
# 如果是CSV，使用pd.read_csv()，还支持很多类型的数据读取
print('条件选择')
print(df[df['Q1'] > 80]) # 选择Q1列中大于80的行
print(df[df['Q1'] > 80]['name']) # 选择Q1列中大于80的行 name列
print(df[df['Q1'] > 80][['name','Q1']]) # 选择Q1列中大于80的行 name和Q1列

⚠️注意：

选择一列和切片一样的使用方式，多列的时候要使用二维数组切片形式

排序

python 复制代码 
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
@Date          : 2024/10/4
@File          : pandas_start_one.py
@Author        : liwei68
@Description   : 
"""


import pandas as pd # 引入Pandas库，按惯例起别名pd

# 以下两种效果一样，如果是网址，它会自动将数据下载到内存
# df = pd.read_excel('https://www.gairuo.com/file/data/dataset/team.xlsx')
df = pd.read_excel('team.xlsx') # 文件在notebook文件同一目录下
# 如果是CSV，使用pd.read_csv()，还支持很多类型的数据读取

df = df.sort_values(by = 'Q1') # 按照Q1列进行排序
print(df)
df = df.sort_values(by = 'Q1',ascending=False)  # 降序排序
print(df)

df = df.sort_values(by = ['name','Q2'],ascending=[True,False]) # 先按照name升序，再按照Q2降序
print(df)
shell 复制代码 
         name team  Q1  Q2  Q3  Q4
37  Sebastian    C   1  14  68  48
39     Harley    B   2  99  12  13
85       Liam    B   2  80  24  25
58      Lewis    B   4  34  77  28
82       Finn    E   4   1  55  32
..        ...  ...  ..  ..  ..  ..
3       Eorge    C  93  96  71  78
88      Aaron    A  96  75  55   8
38     Elijah    B  97  89  15  46
19        Max    E  97  75  41   3
97   Lincoln4    C  98  93   1  20

[100 rows x 6 columns]
         name team  Q1  Q2  Q3  Q4
97   Lincoln4    C  98  93   1  20
19        Max    E  97  75  41   3
38     Elijah    B  97  89  15  46
88      Aaron    A  96  75  55   8
3       Eorge    C  93  96  71  78
..        ...  ...  ..  ..  ..  ..
82       Finn    E   4   1  55  32
58      Lewis    B   4  34  77  28
85       Liam    B   2  80  24  25
39     Harley    B   2  99  12  13
37  Sebastian    C   1  14  68  48

[100 rows x 6 columns]
       name team  Q1  Q2  Q3  Q4
88    Aaron    A  96  75  55   8
2       Ack    A  57  60  18  84
6      Acob    B  61  95  94   8
33     Adam    C  90  32  47  39
94    Aiden    D  20  31  62  68
..      ...  ...  ..  ..  ..  ..
40     Toby    A  52  27  17  68
46    Tommy    C  29  44  28  76
79    Tyler    A  75  16  44  63
18  William    C  80  68   3  26
55  Zachary    E  12  71  85  93

[100 rows x 6 columns]

Process finished with exit code 0

分组聚合

python 复制代码 
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
@Date          : 2024/10/4
@File          : pandas_start_one.py
@Author        : li
@Description   : 
"""


import pandas as pd # 引入Pandas库，按惯例起别名pd

# 以下两种效果一样，如果是网址，它会自动将数据下载到内存
# df = pd.read_excel('https://www.gairuo.com/file/data/dataset/team.xlsx')
df = pd.read_excel('team.xlsx') # 文件在notebook文件同一目录下
# 如果是CSV，使用pd.read_csv()，还支持很多类型的数据读取

print(df.groupby('team').sum('Q1'))
print(df.groupby('team').mean('Q1'))
print(df.groupby(['team','name']).mean())
# 不同列不同的计算方法
df1 = df.groupby('team').agg({'Q1': sum,  # 总和
                        'Q2': 'count', # 总数
                        'Q3':'mean', # 平均
                        'Q4': max}) # 最大值

print(df1)

数据转换

python 复制代码 
import pandas as pd
df = pd.read_excel('team.xlsx') # 文件在notebook文件同一目录下

df1 = df.groupby('team').agg({'Q1': sum,  # 总和
                        'Q2': 'count', # 总数
                        'Q3':'mean', # 平均
                        'Q4': max}) # 最大值

print(df1)
print(df1.T)

df.T 转置

转置前

shell 复制代码 
        Q1  Q2         Q3  Q4
team                         
A     1066  17  51.470588  97
B      975  22  54.636364  99
C     1056  22  48.545455  98
D      860  19  65.315789  99
E      963  20  44.050000  98

转置后

shell 复制代码 
team            A           B            C           D       E
Q1    1066.000000  975.000000  1056.000000  860.000000  963.00
Q2      17.000000   22.000000    22.000000   19.000000   20.00
Q3      51.470588   54.636364    48.545455   65.315789   44.05
Q4      97.000000   99.000000    98.000000   99.000000   98.00

增加列

直接切片增加索引的方式

python 复制代码 
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
@Date          : 2024/10/4
@File          : pandas_start_one.py
@Author        : liwei
@Description   : 
"""


import pandas as pd
df = pd.read_excel('team.xlsx') # 文件在notebook文件同一目录下

df['one'] = 1 # 增加一个固定值的列
df['total'] = df.Q1 + df.Q2 + df.Q3 + df.Q4 # 增加总成绩列

# # 将计算得来的结果赋值给新列
df['total2'] = df.loc[:,'Q1':'Q4'].apply(lambda x:sum(x), axis=1)

df['avg'] = df.total/4 # 增加平均成绩列

print(df)

绘图

Pandas利用plot()调用Matplotlib快速绘制出数据可视化图形。注意，第一次使用plot()时可能需要执行两次才能显示图形。 可以使用plot()快速绘制折线图。

在Python中，使用pandas库的DataFrame对象的plot()方法可以很容易地绘制图表。默认情况下，df.plot()会将图表显示在Jupyter Notebook中，但不会自动保存为文件。如果你想保存图表，可以使用matplotlib.pyplot.savefig()函数。

以下是一个简单的例子

python 复制代码 
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
@Date          : 2024/10/4
@File          : pandas_start_one.py
@Author        : liwei 
@Description   : 
"""

import matplotlib.pyplot as plt
import pandas as pd
df = pd.read_excel('team.xlsx') # 文件在notebook文件同一目录下

df['one'] = 1 # 增加一个固定值的列
df['total'] = df.Q1 + df.Q2 + df.Q3 + df.Q4 # 增加总成绩列

# # 将计算得来的结果赋值给新列
df['total2'] = df.loc[:,'Q1':'Q4'].apply(lambda x:sum(x), axis=1)

df['avg'] = df.total/4 # 增加平均成绩列

df.plot()
plt.plot()
plt.savefig('team.png')

在pandas中，df.plot()是一个非常方便的函数，用于基于DataFrame或Series的数据快速生成图表。kind参数是df.plot()方法中一个非常重要的参数，它指定了要绘制的图表类型。kind参数可以接收多种不同的字符串值，以生成不同类型的图表。以下是一些常见的kind参数值及其对应的图表类型：

'line' 或 ''**（默认）：绘制折线图。

如果DataFrame有多列，则每列都会被绘制为一条线。

python 复制代码 
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
@Date          : 2024/10/4
@File          : pandas_start_one.py
@Author        : liwei
@Description   : 
"""

import matplotlib.pyplot as plt
import pandas as pd
df = pd.read_excel('team.xlsx') # 文件在notebook文件同一目录下

file_path_out = 'team_out.xlsx'
# groupby 分组，sum求和，reset_index重置索引
# 注意 此处如果不重置索引，df中将会没有groupBy的字段
df1 = df.groupby('team').sum('Q1').reset_index()

with pd.ExcelWriter(file_path_out) as writer:
    df1.to_excel(writer, sheet_name='结果', index=False)

print(df1)
df1.plot(x = 'team',y = 'Q1' ,kind = 'line')
plt.plot()
plt.savefig('team.png')
'bar'：绘制条形图。

如果DataFrame有多列，则每列都会被绘制为独立的条形图组。

python 复制代码 
df1.plot(x = 'team',y = 'Q1' ,kind = 'bar')
'barh'：绘制水平条形图。

与条形图类似，但条是水平的。

python 复制代码 
df1.plot(x = 'team',y = 'Q1' ,kind = 'barh')
'hist'：绘制直方图。

这通常用于Series，但也可以用于DataFrame的每列，为每列绘制直方图。

python 复制代码 
df1.plot(x = 'team',y = 'Q1' ,kind = 'hist')
'box'：绘制箱形图（Boxplot）。

箱形图用于显示数据分布的四分位数，并可能显示异常值。

'kde' 或 'density'：绘制核密度估计图（Kernel Density Estimate）。

这是一种用于估计单变量概率密度函数的非参数方法。

'area'：绘制面积图。面积图下方区域将被填充。

如果DataFrame有多列，则堆叠这些区域（除非指定stacked=False）。

'pie'：绘制饼图。饼图通常用于显示部分与整体之间的关系。

注意，饼图通常用于单个Series，因为DataFrame的每一行都会被解释为饼图的一部分。

python 复制代码 
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
@Date          : 2024/10/4
@File          : pandas_start_one.py
@Author        : liwei 
@Description   : 
"""

import matplotlib.pyplot as plt
import pandas as pd
df = pd.read_excel('team.xlsx') # 文件在notebook文件同一目录下

file_path_out = 'team_out.xlsx'
# groupby 分组，sum求和，reset_index重置索引
# 注意 此处如果不重置索引，df中将会没有groupBy的字段
# 各组人数对比
df.groupby('team').count().Q1.plot.pie()


plt.savefig('team_pie.png')
'scatter'：绘制散点图。散点图用于显示两个变量之间的关系。

如果DataFrame有多列，则默认使用前两列作为x和y轴。

'hexbin'：绘制六边形分箱图（Hexbin plot）。

这是一种用于表示两个变量之间关系的二维直方图。

python 复制代码 
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
@Date          : 2024/10/4
@File          : pandas_start_one.py
@Author        : liwei 
@Description   : 
"""

import numpy as np
import matplotlib.pyplot as plt

# 生成一些随机数据
np.random.seed(19680801)
x = np.random.randn(10000)
y = np.random.randn(10000)

# 绘制Hexbin plot
plt.hexbin(x, y, gridsize=50, cmap='viridis')

# 添加颜色条
cb = plt.colorbar(label='counts in bin')

# 设置图表标题和坐标轴标签
plt.title("Hexbin of 10,000 points")
plt.xlabel("X")
plt.ylabel("Y")

# 显示图表
plt.show()

写出数据

python 复制代码 
with pd.ExcelWriter(file_path_out) as writer:
    df1.to_excel(writer, sheet_name='结果', index=False)
相关推荐
galileo20161 分钟前
LLM与金融
人工智能
DREAM依旧17 分钟前
隐马尔科夫模型|前向算法|Viterbi 算法
人工智能
GocNeverGiveUp30 分钟前
机器学习2-NumPy
人工智能·机器学习·numpy
B站计算机毕业设计超人1 小时前
计算机毕业设计PySpark+Hadoop中国城市交通分析与预测 Python交通预测 Python交通可视化 客流量预测 交通大数据 机器学习 深度学习
大数据·人工智能·爬虫·python·机器学习·课程设计·数据可视化
学术头条1 小时前
清华、智谱团队：探索 RLHF 的 scaling laws
人工智能·深度学习·算法·机器学习·语言模型·计算语言学
18号房客2 小时前
一个简单的机器学习实战例程，使用Scikit-Learn库来完成一个常见的分类任务——**鸢尾花数据集（Iris Dataset）**的分类
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理·sklearn
feifeikon2 小时前
机器学习DAY3 : 线性回归与最小二乘法与sklearn实现 （线性回归完）
人工智能·机器学习·线性回归
游客5202 小时前
opencv中的常用的100个API
图像处理·人工智能·python·opencv·计算机视觉
古希腊掌管学习的神2 小时前
[机器学习]sklearn入门指南（2）
人工智能·机器学习·sklearn
凡人的AI工具箱2 小时前
每天40分玩转Django：Django国际化
数据库·人工智能·后端·python·django·sqlite
热门推荐
01【一文读懂】NTN（非地面网络）技术介绍02优化手机性能，解决卡顿问题：关闭这3个微信开关，释放内存空间03玄机平台应急响应—webshell查杀04Cube-Studio：开源大模型全链路一站式中台05基于大语言模型（LLM）的合成数据生成、策展和评估的综述06(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明07组基轨迹建模 GBTM的介绍与实现（Stata 或 R）08HCIA-datacom数通题库和录播视频资料09Docker 夺命连环 15 问10RAG 实践- Ollama+RagFlow 部署本地知识库