PythonDay8Advance

PythonDay8Advance

正则表达式

  • 本身也是一个字符串,其中的字符具有特殊含义,将来我们可以根据这个字符串【正则表达式】去处理其他的字符串,比如可以对其他字符串进行匹配,切分,查找,替换等一系列操作。
  • 是一个独立于任何一门语言的技术,任何一门语言中都可以使用同一个正则表达式去操作
python 复制代码
s1 = '博主讲的太好了!已经三连加关注,求课件!我的邮箱是1234214@qq.com, 或者是3255@163.cn 或者是微信手机号 18356781451'

正则表达式的便利之处

  • 需求:从上述字符串中,将所有符合邮箱的字符串查找出来。
  • 需求:从上述字符串中,将手机号查找出来
python 复制代码
# python内置的一个库 re 这个库中的模块是专门针对正则表达式提供的
# 正则表达式在python中写的时候,在字符串引号前面加上r,表示这是一个正则表达式
import re

s1 = '博主讲的太好了!已经三连加关注,求课件!我的邮箱是 1234214@qq.com, 或者是 3255@163.com 或者是微信手机号 18356781451'
res1 = re.findall(r'^\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$', s1)
print(res1)

# ===================================================
import re

s1 = '博主讲的太好了!已经三连加关注,求课件!我的邮箱是 1234214@qq.com, 或者是 3255@163.com 或者是微信手机号 18356781451'
res1 = re.findall(r'\d{11}', s1)
print(res1)

正则表达式的编写步骤

  • 需要大量的文本信息
  • 找规律
  • 使用正则语法编写出正则表达式

正则表达式的语法

  • 字符串本身就是一个正则表达式
python 复制代码
import re

s1 = '博主讲的太好了!已经三连xiaohu加关注,求课件!我的邮箱是 1234214@qq.com, 或者xiaohu是 3255@163.com 或者是xiaohu微信手机号 18356781451'
res1 = re.findall('xiaohu', s1)
print(res1)
  • [] 表示可选项
python 复制代码
import re

s1 = '博主讲的太好了!已经三连xiaohuq加关注,求课件!我的邮箱是 1234214@qq.com, 或者xiaohuw是 3255@163.com 或者是xiaohup微信手机号 18356781451'
res1 = re.findall('xiaohu[qwp]', s1)
print(res1)
  • 范围

    • [a-z] 表示查找 a-z
    python 复制代码
    import re
    
    s1 = '博主讲的太好了!已经三连xiaohuq加关注,求课件!我的邮箱是 1234214@qq.com, 或者xiaohu5是 3255@163.com 或xiaohu8者是xiaohuw微信手机号 18356781451'
    res1 = re.findall(r'xiaohu[a-z]', s1)
    print(res1)
    • [A-Za-z]
    python 复制代码
    import re
    
    s1 = '博主讲的太好了!已经三连xiaohuq加关注,求课件!我xiaohuA的邮箱是 1234214@qq.com, 或者xiaohu5是 3255@163.com 或xiaohu8者是xiaohuU微信手机号 18356781451'
    res1 = re.findall(r'xiaohu[A-Za-z]', s1)
    print(res1)
    python 复制代码
    import re
    
    s1 = '博主讲的太好了!已经三连xiaohuq加关注,求课件!我xiaohuA的邮箱是 1234214@qq.com, 或者xiaohu5是 3255@163.com 或xiaohu8者是xiaohuU微信手机号 18356781451'
    res1 = re.findall(r'xiaohu[A-z]', s1)
    print(res1)
    • [0-9]
    python 复制代码
    import re
    
    s1 = '博主讲的太好了!已经三连xiaohuq加关注,求课件!我xiaohuA的邮箱是 1234214@qq.com, 或者xiaohu5是 3255@163.com 或xiaohu8者是xiaohuU微信手机号 18356781451'
    res1 = re.findall(r'xiaohu[0-9]', s1)
    print(res1)
    python 复制代码
    import re
    
    s1 = '博主讲的太好了!已经三连xiaohuq加关注,求课件!我xiaohuA的邮箱是 1234214@qq.com, 或者xiaohu5是 3255@163.com 或xiaohu8者是xiaohuU微信手机号 18356781451'
    res1 = re.findall(r'xiaohu[0-z]', s1)
    print(res1)

    注意:开发中尽量不要使用0-z ,因为中间的ASCII码符号,还包含了其他特殊的符号

  • \d 表示数字

python 复制代码
import re

s1 = '博主讲的太好了!已经三连xiaohuq加关注,求课件!我xiaohuA的邮箱是 1234214@qq.com, 或者xiaohu5是 3255@163.com 或xiaohu89者是xiaohuU微信手机号 18356781451'
res1 = re.findall(r'xiaohu\d\d', s1)
print(res1)
  • 数量

    • ?表示出现了0次或者1次
    python 复制代码
    import re
    
    s1 = '博主讲的太好xiaohu了!已经三连xiaohuq加关注,求课件!我xiaohu124453的邮箱是 1234214@qq.com, 或者xiaohu5是 3255@163.com 或xiaohu89者是xiaohuU微信手机号 18356781451'
    res1 = re.findall(r'xiaohu\d?', s1)
    print(res1)
      • 表示出现了1次或者n次
    python 复制代码
    import re
    
    s1 = '博主讲的太好xiaohu了!已经三连xiaohuq加关注,求课件!我xiaohu124453的邮箱是 1234214@qq.com, 或者xiaohu5是 3255@163.com 或xiaohu89者是xiaohuU微信手机号 18356781451'
    res1 = re.findall(r'xiaohu\d+', s1)
    print(res1)
    • * 表示出现了0次或者n次
    python 复制代码
    import re
    
    s1 = '博主讲的太好xiaohu了!已经三连xiaohuq加关注,求课件!我xiaohu124453的邮箱是 1234214@qq.com, 或者xiaohu5是 3255@163.com 或xiaohu89者是xiaohuU微信手机号 18356781451'
    res1 = re.findall(r'xiaohu\d*', s1)
    print(res1)
  • {m,n} 表示出现的次数范围,m表示至少出现的次数,n表述最多出现的次数

python 复制代码
import re

s1 = '有一个同学的学号为sj331001, 另一个同学的学号为sj32100, 还有一个同学的学号为sj3101, 还有一个学生:sj322010'
# res1 = re.findall(r'sj32\d+', s1)
res1 = re.findall(r'sj\d{2,6}', s1)
print(res1)
  • {m,} 表示出现的次数,至少为m个,上不封顶
python 复制代码
import re

s1 = '有一个同学sj9的学号为sj331001, 另一个同学的学号为sj32100, 还有一个同学的学号为sj3101, 还有一个学生:sj322010, 新来的学生学号为:sj34567809'
# res1 = re.findall(r'sj32\d+', s1)
res1 = re.findall(r'sj\d{2,}', s1)
print(res1)
  • {m} 表示出现了m次
python 复制代码
import re

s1 = '有一个同学sj9的学号为sj331001, 另一个同学的学号为sj32100, 还有一个同学的学号为sj3101, 还有一个学生:sj322010, 新来的学生学号为:sj34567809'
# res1 = re.findall(r'sj32\d+', s1)
res1 = re.findall(r'sj\d{6}', s1)
print(res1)
  • 匹配指定手机号
python 复制代码
import re

# 183 153 173
# 总共最多是11位
s1 = '我有一个手机号是18347821932,另一个手机号是17386429189,还有一个手机号是15356878621,以前用过一个手机号13987648345'
res1 = re.findall(r'1[857]3\d{8}', s1)
print(res1)
  • \w 表示英文字母大写或者小写,或者下划线,或者是中文汉字
python 复制代码
import re

# 183 153 173 
# 总共最多是11位
s1 = '我有一个邮箱是183478@qq.com,另一个邮箱是17386@163.com,还有一个邮箱是78621@gmail.com,以前用过一个邮箱139876@qq.com'
res1 = re.findall(r'\d+@\w+\.com', s1)
print(res1)
python 复制代码
import re

# 183 153 173 
# 总共最多是11位
s1 = '我有一个邮箱是hys183478@qq.com,另一个邮箱是17386zcy@163.com,还有一个邮箱是786zrx21@gmail.com,以前用过一个邮箱139876@qq.com'
res1 = re.findall(r'\w+@\w+\.com', s1, re.ASCII)
print(res1)

上述案例中,如果我们没有写re.ASCII参数,那么第一个\w+会将汉字也匹配上,因为\w本身就可以匹配汉字的,但是当我们加上了re.ASCII参数,python正则表达式匹配的时候,\w只会匹配ASCII码上有的字符。

  • \W 表示除了大小写英文字母,数字,汉字,下划线之外,都能匹配
python 复制代码
import re

# 183 153 173 
# 总共最多是11位
s1 = '我有一个邮箱是hys183478@###.com,另一个邮箱是17386zcy@163.com,还有一个邮箱是786zrx21@gmail.com,以前用过一个邮箱139876@qq.com'
res1 = re.findall(r'\w+@\W+\.com', s1, re.ASCII)
print(res1)
  • 匹配以某个字符串开头
python 复制代码
import re

# 183 153 173 
# 总共最多是11位
s1 = '我有一个邮箱是hys183478@qq.com,另一个邮箱是17386zcy@163.com,还有一个邮箱是zrx78621@gmail.com,以前用过一个邮箱139876@qq.com'
res1 = re.findall(r'[A-z]+\d+@\w+\.com', s1, re.ASCII)
print(res1)
  • ^ 表示以某个字符串开头
python 复制代码
s2 = 'hys183478@qq.com'
res2 = re.match(r'^hys', s2, re.ASCII)
print(res2)
  • $ 表示以某个字符串结尾
  • () 分组
python 复制代码
import re

# 183 153 173 
# 总共最多是11位
s1 = '有一个学生的身份证号为340123200312075687,另一个学生的身份证号是340122199705035414'
res1 = re.findall(r'(340\d{3}(\d{4})\d{8})', s1)
print(res1) # [('340123200312075687', '2003'), ('340122199705035414', '1997')]
python 复制代码
import re

# 183 153 173 
# 总共最多是11位
s1 = '有一个学生的身份证号为340123200312075687,另一个学生的身份证号是340122199705035414'
res1 = re.findall(r'(340\d{3}(\d{4})(\d{2})(\d{2}))', s1)
print(res1) # [('34012320031207', '2003', '12', '07'), ('34012219970503', '1997', '05', '03')]
  • 或 | 多个字符之间的或使用小括号
python 复制代码
import re

# 183 153 173 
# 总共最多是11位
s1 = '有一个学生的身份证号为340123200312075687,另一个学生的身份证号是340122199705035414,另一个学生的身份证号是340110199705035414'
res1 = re.findall(r'(340(123|110)(\d{4})(\d{2})(\d{2}))', s1)
print(res1) # [('34012320031207', '123', '2003', '12', '07'), ('34011019970503', '110', '1997', '05', '03')]
  • . 表示任意字符
python 复制代码
import re

s1 = '我有一个键盘,键盘的售卖序列号为JP2134WFWFasd##&13, 上一个键盘的序列号为JPIUYT4WFqw34sd##&'
res1 = re.findall(r'JP.{16}', s1)
print(res1) # ['JP2134WFWFasd##&13', 'JPIUYT4WFqw34sd##&']

使用\转义字符,将.变成普通的点字符进行匹配

python 复制代码
s1 = '我有shujia#888一个键盘,键盘的售shujia.666卖序列号为JP2134WFW.asd##&13, 上一个键盘的序列号为JPIUYT4WFqw34sd##&'
res1 = re.findall(r'shujia\.\d{3}', s1)
print(res1) # ['shujia.666']

re模块中的常用函数

  • re.findall 在大字符串中查找符合正则表达式特点的式子

  • re.match() 匹配整个字符串是否符合某个正则表达式特点

  • re.search() 从左向右匹配正则表达式,只会匹配一次符合条件, 得到的是一个对象

python 复制代码
import re
text = '博主讲的实在是太1165872335@数加.com好了,通俗易懂,已三连,求课件,我的邮箱是1165872335@qq.com或' \
       '者是xiaohu2023666@pronton.com谢谢博主 手xiaohu2机微信号也可以17354074069'

res1 = re.search(r'1\d+@\w+\.com',text)
print(res1) # <re.Match object; span=(8, 25), match='1165872335@数加.com'>
print(res1.group())
  • re.split()
python 复制代码
import re
text = '1001,xiaohu#18足$踢球'

res1 = re.split(r'[,#$]',text)
print(res1) # ['1001', 'xiaohu', '18', '踢足球']
  • re.finditer() 在大字符串中查找符合正则表达式特点的式子,得到的是一个迭代器
python 复制代码
import re
text = '博主讲的实在是太1165872335@数加$.com好了,通俗易懂,已三连,求课件,我的邮箱是 1165872335@qq.com 或' \
       '者是xiaohu2023666@pronton.com谢谢博主 手xiaohu2机微信号也可以17354074069'

res2 = re.findall('(\w+@(数加\$|qq|pronton)\.com)',text, re.ASCII)
print(res2) # [('1165872335@数加$.com', '数加$'), ('1165872335@qq.com', 'qq'), ('xiaohu2023666@pronton.com', 'pronton')]

res1 = re.finditer('(\w+@(数加\$|qq|pronton)\.com)',text, re.ASCII)
for res in res1:
    print(res.group(1))
    print(res.group(2))
    print("-----------------------")
  • fullmatch() 将字符串整体与正则表达式进行匹配
python 复制代码
text = '安徽省-合肥市-蜀山区-浮山路'

res1 = re.fullmatch(f'(\w+)-(\w+)-(\w+)-(\w+)', text)
print(f"省份:{res1.group(1)}")
print(f"市:{res1.group(2)}")
print(f"区:{res1.group(3)}")
print(f"街道:{res1.group(4)}")

Numpy模块

做矩阵分析时所需的第三方模块

  • 在python使用numpy创建一个矩阵
python 复制代码
import numpy as np

list1 = [[1,2,3,4],[4,5,6,8],[7,8,9,3]]

array1 = np.array(list1)
print(array1, type(array1))

注意:如果列表中的小列表的列数不一致,那么就会将每一个小列表当作一个矩阵中的元素去存放,这个矩阵只有一行。

矩阵的常见属性

  • ndim 查看矩阵的维度
python 复制代码
import numpy as np

list1 = [[1,2,3,4],[4,5,6,8],[7,8,9,3]]

array1 = np.array(list1)
print(array1, type(array1))

print(array1.ndim) # 2
  • shape 查看矩阵的行数和列数
python 复制代码
import numpy as np

list1 = [[1,2,3,4],[4,5,6,8],[7,8,9,3]]

array1 = np.array(list1)
print(array1, type(array1))

print(array1.shape) # (3, 4)
  • size 查看矩阵中元素的个数
python 复制代码
import numpy as np

list1 = [[1,2,3,4],[4,5,6,8],[7,8,9,3]]

array1 = np.array(list1)
print(array1, type(array1))

print(array1.size) # 12
  • dtype 查看矩阵中的元素类型
python 复制代码
import numpy as np

list1 = [[1,2,3,4],[4,5,6,8],[7,8,9,3]]

array1 = np.array(list1)
print(array1, type(array1))

print(array1.dtype) # int32

numpy中矩阵的使用和常用函数

  • numpy 可以使用采用索引进行取值 array1[行的范围, 列的范围]
python 复制代码
import numpy as np

list1 = [[1, 2, 3, 4], [4, 5, 6, 8], [7, 8, 9, 3]]

array1 = np.array(list1)
print(array1, type(array1))
print("--------------------")
print(array1[:, :2])
print("--------------------")
print(array1[1, 1:3])
  • astype 将元素转成对应的数据类型
python 复制代码
import numpy as np

list1 = [[1, 2, 3, 4], [4, 5, 6, 8], [7, 8, 9, 3]]

array1 = np.array(list1)
print(array1, type(array1))
print(array1.dtype)
print("--------------------")
array1 = array1.astype('float')
print(array1, type(array1))
print(array1.dtype)
  • split 按照指定的方向将矩阵切分

axis: 默认是0 ,按照 的方向切分,可以修改为1 ,按照进行切分

python 复制代码
import numpy as np

list1 = [[1, 2, 3, 4], [4, 5, 6, 8], [7, 8, 9, 3], [11,22,33,44]]

array1 = np.array(list1)
print(array1, type(array1))
print(array1.dtype)
print("--------------------")
res1 =np.split(array1,2, axis=1)
print(res1, type(res1))

指定索引切分若干个部分矩阵

python 复制代码
res1 = np.split(array1, [1, -1])
  • reshape 重构矩阵

需要注意:结果矩阵的元素个数和原本的元素个数保持一致

python 复制代码
array1 = array1.reshape(4,3)
print(array1)
  • vstack 将两个矩阵上下拼接
  • hstack 将两个矩阵左右拼接
  • dot() 点乘
python 复制代码
print(array1.dot(array2))
  • diff() 差分
python 复制代码
res1 = np.diff(array1,axis=1)
print(res1, type(res1))
  • 数学计算
python 复制代码
print(np.amax(array1))
print(np.amin(array1))
print(np.mean(array1)) # 平均值
print(np.median(array1)) # 中位数
print(np.std(array1)) # 2.48327740429189 标准差
print(np.var(array1)) # 6.166666666666667 方差   比如计算偏科这样的需求