Pandas -----------------------基础知识（二）

dataframe读写数据操作

python 复制代码

import pandas as pd

# 准备数据(字典)
data = [
    [1, '张三', '1999-3-10', 18],
    [2, '李四', '2002-3-10', 15],
    [3, '王五', '1990-3-10', 33],
    [4, '隔壁老王', '1983-3-10', 40]
]

df = pd.DataFrame(data, columns=['id', 'name', 'birthday', 'age'])
df

写到csv文件中，路径在当前目录同级的output目录下，不需要索引，不需要标题，列与列的分隔符为'*'，只显示id，name，birthday三列，并且为追加模式

python 复制代码

df.to_csv('./output/student11.csv',
 index=False,
header=False,
sep='*',
columns=['id', 'name', 'birthday'],
mode='a')

读取csv文件将第零列作为索引列，不需要标题，只显示一列，两行数据

python 复制代码

pd.read_csv('./output/student11.csv',
index_col=0,
header=None,
usecols=[0],
nrows=2)

写到excel文件中不需要索引需要标题

python 复制代码

df.to_excel('./output/student11.xlsx',index=False,header=True)

读excel文件，索引为第零列，标题也是第零行，跳过一行

python 复制代码

pd.read_excel('./output/student11.xlsx',index_col=0,header=0,skiprows=1)

python 复制代码

pd.read_excel('./output/student12.xlsx',index_col=0)

将数据写到mysql中（可能出现中文乱码错误创建库的时候加上

复制代码

create database test character set 'utf8';

）

建立连接 mysql数据库+pymysql子数据库 ://用户名：密码@ip地址：端口号/库名？编码

python 复制代码

# 连接
from sqlalchemy import create_engine

engine = create_engine('mysql+pymysql://root:123456@192.168.88.100:3306/test?charset=utf8')

con是上面的连接如果存在就替换不需要索引

python 复制代码

df.to_sql('student', con=engine, if_exists='replace', index=False)

追加

python 复制代码

from sqlalchemy import types

dtype = {'birthday':types.Date}

df.to_sql('student_2', con=engine, if_exists='append', index=False, dtype=dtype)

从sql中读取数据

python 复制代码

import pandas as pd
from sqlalchemy import create_engine
# 1 通过表读
conn = create_engine('mysql+pymysql://root:123456@192.168.88.100:3306/test?charset=utf8')

# df = pd.read_sql("student_2", con=conn)
df = pd.read_sql_table("student_2", con=conn)

df

通过从mysql中读取然后查询表

python 复制代码

#  sql 读取
import pandas as pd
from sqlalchemy import create_engine
# 1 通过表读
conn = create_engine('mysql+pymysql://root:123456@192.168.88.100:3306/test?charset=utf8')

# df = pd.read_sql("select * from student_2 where age>30", con=conn)
df = pd.read_sql_query("select * from student_2 where age>30", con=conn)

df

获取df子集

加载数据获取前五行（tail()获取后五行）

python 复制代码

import pandas as pd

# 加载数据 ../data/b_LJdata.csv
df = pd.read_csv('./data/b_LJdata.csv').head()
df

获取户型列

复制代码

法一  ：df['户型']
法二  ：df.户型

获取多列（再包一层）

复制代码

df[['户型','价格']]

获取面积大于80的数据
复制代码
df['面积']>80
复制代码
list(df['面积']>80)
[False, False, True, True, False]
复制代码
法一：df[[False, False, True, True, False]]
或者
复制代码
法二：df[df['面积']>80]

通过切片获取数据

复制代码

df[:5:3]   左闭右开  [start:end:step]

案例：获取天通苑租房、望京租房、北苑租房且朝向为东或南的房子信息

最后用new_df再包一下

复制代码

(new_df['区域']=='天通苑租房') | (new_df['区域']=='望京租房') | (new_df['区域']=='北苑租房')
或者

复制代码

new_df['区域'].isin(['天通苑租房','望京租房','北苑租房'])

复制代码

(new_df['朝向']=='东') | (new_df['朝向']=='南')

或者

复制代码

new_df['朝向'].isin(['东','南'])

复制代码

((new_df['区域']=='天通苑租房') | (new_df['区域']=='望京租房') | (new_df['区域']=='北苑租房')) & ((new_df['朝向']=='东') | (new_df['朝向']=='南'))

或者

复制代码

new_df[new_df['区域'].isin(['天通苑租房','望京租房','北苑租房']) & new_df['朝向'].isin(['东','南'])]

python 复制代码

#法一
new_df[
(  (new_df['区域']=='天通苑租房') | 
(new_df['区域']=='望京租房') | 
(new_df['区域']=='北苑租房')   ) 
& 
((new_df['朝向']=='东') | 
(new_df['朝向']=='南'))
]
# 法二
new_df[new_df['区域'].isin(['天通苑租房','望京租房','北苑租房']) 
& new_df['朝向'].isin(['东','南'])]

df方法

loc通过行列名获取子集

iloc通过行列下标获取子集

query函数获取子集

isin函数获取子集

加载数据获取前十行

python 复制代码

import pandas as pd

df = pd.read_csv('./data/b_LJdata.csv')
df
new_df = df.head(10)
new_df

loc通过行列名获取子集

复制代码
new_df[new_df.index == 2] #获取索引为2这行
复制代码
new_df.loc[2] #series对象
复制代码
new_df[new_df.index.isin([2,3,4])] 
复制代码
new_df.loc[[2,3,4]]  #注意两个[]
复制代码
new_df[['区域','地址','价格']] #获取多列
切片
复制代码
new_df.loc[:6:2]  左闭右闭
区别于
复制代码
new_df[:6:2] 左闭右开
布尔值向量获取行数据

求面积大于85的房子的区域，户型和价格
复制代码
new_df.loc[new_df['面积']>85, ['区域', '户型', '价格']]
等价于
复制代码
new_df[new_df['面积']>85][['区域','户型','价格']]
复制代码
new_df.loc[[1,3,5]] #根据位置 取第一第三第五行数据
复制代码
new_df.loc[[1,3,5],['区域', '面积', '价格']]
复制代码
new_df.loc[:,'区域':'价格':2]  逗号左边表示取几行逗号右边表示要几列

iloc通过行列下标获取子集

行下标获取一行

复制代码

new_df.iloc[2]  与new_df.loc[2]相同

复制代码

new_df[new_df.index==2]

获取某个

复制代码

new_df.iloc[2,1]

'远见名苑'

获取多行数据

复制代码

new_df.iloc[[2,3]] 同 new_df.loc[[2,3]] 同 new_df[new_df.index.isin([2,4])]

复制代码

new_df.iloc[1:3:1] 左闭右开

复制代码

new_df.iloc[:,1:3]  全部行，列从（索引）第一列到第三列 左闭右开 步长为一

复制代码

new_df.iloc[[2,5,8],[0,2]]  同 new_df.loc[[2, 5, 8], ['区域', '户型']]

复制代码

 或new_df[new_df.index.isin([2,5,8])][['区域','户型']]

isin函数获取子集

复制代码

new_df.isin(['天通苑租房', '南', 50, 103])

原数据

复制代码

new_df[new_df.isin(['天通苑租房', '南', 50, 103])] #再套一层

表示两个条件同时成立满足区域满足朝向

复制代码

new_df[new_df['区域'].isin(["天通苑租房", "北苑租房", "望京租房"]) & new_df['朝向'].isin(["南", "东"])]

在上述条件下求面积

复制代码

new_df[new_df['区域'].isin(["天通苑租房", "北苑租房", "望京租房"]) & new_df['朝向'].isin(["南", "东"])]['面积']

或

复制代码

new_df['面积'][new_df['区域'].isin(["天通苑租房", "北苑租房", "望京租房"]) & new_df['朝向'].isin(["南", "东"])]

query函数获取子集

复制代码

new_df.query('区域 in ("天通苑租房", "北苑租房", "望京租房") and 朝向 in ("南", "东")')

目标: 查询区域是北苑租房

复制代码

new_df[new_df['区域']== '北苑租房']
new_df.loc[new_df['区域']== '北苑租房']
new_df.iloc[new_df.index[new_df['区域']=='北苑租房']]
new_df.query('区域=="北苑租房"')

目标: 查询区域是天通苑租房北苑租房小西天租房; 朝向是南东南

复制代码

new_df[(new_df['区域'].isin(['天通苑租房', '北苑租房', '小西天租房'])) & (new_df['朝向'].isin(['南', '东南']))]

复制代码

new_df.query('区域 in ("天通苑租房", "北苑租房", "小西天租房") and 朝向 in ("南", "东南")')

目标: 查询区域是天通苑租房北苑租房小西天租房; 朝向是南东南对应价格

复制代码

new_df.query('区域 in ("天通苑租房", "北苑租房", "小西天租房") and 朝向 in ("南", "东南")')['价格']

复制代码

new_df['价格'].to_frame()[(new_df['区域'].isin(['天通苑租房', '北苑租房', '小西天租房'])) & (new_df['朝向'].isin(['南', '东南']))]