网络爬虫进阶

一、re模块compile

在爬虫或任何需要处理字符串和文本数据的Python程序中,re模块的compile()函数是一个非常重要的工具。这个函数用于编译一个字符串形式的正则表达式,将其转换为一个模式对象(Pattern对象)。使用编译后的模式对象进行匹配操作(如match()search()findall()等)通常比直接使用字符串形式的正则表达式更高效,特别是当需要对同一个正则表达式进行多次匹配操作时。

在爬虫开发中,经常需要从HTML或XML文档中提取信息。这些信息可能以各种形式存在,如标签内的文本、属性值等。通过使用re.compile()编译正则表达式,爬虫可以更高效地提取这些数据。

# 导入re
import re
# \d 数字 +1 次无数次 r表示原始字符串
patteren = re.compile(r'\d+')
print(patteren)

二、match方法使用

在Python的re模块中,match()方法用于从字符串的起始位置匹配正则表达式。如果匹配成功,它会返回一个匹配对象(Match对象),否则返回None。这个特性使得match()方法特别适用于检查一个字符串是否以某个模式开始。

在爬虫中,match()方法可能不是最常用的,因为爬虫通常需要处理的是HTML或XML文档,这些文档的结构往往比较复杂,不一定以简单的模式开始。然而,在处理某些特定格式的文本或响应头时,match()方法仍然非常有用。

# 导入re模块
import re
# 设置正则表达式匹配规则
pattern = re.compile(r"\d+")
# m1 = pattern.match('123456789')
# m1 = pattern.match('1234a56789')
# 匹配的目标文本,没有匹配到则终止匹配,由于o字母不是数字因此无匹配数据
m1 = pattern.match('one1234two56three789')
print(m1)
# print(m1.group())
#match 从第一个o匹配
# 参数2:匹配的起始位置,下标数包含
# 参数3:匹配的结束位置,下标数不包含
m1 = pattern.match('one1234two56three789',3,6) #,3,6定义区间 索引(下标数)表示 不是位数表示 由0开始
print(m1.group())  # 通过group查看匹配的数据

三、search方法的使用

在Python的re模块中,search()方法用于在字符串中搜索第一个匹配正则表达式的位置。与match()方法不同,search()方法不需要匹配发生在字符串的起始位置。如果找到匹配项,search()会返回一个匹配对象(Match对象),其中包含有关匹配的信息;如果没有找到匹配项,则返回None

在爬虫中,search()方法非常有用,因为它允许你在HTML文档或其他文本数据中搜索特定的模式,而不需要担心这些模式是否位于文本的开头。例如,你可以使用search()来查找HTML中的特定标签、属性或文本内容。

虽然findall()方法可能更常用于提取多个匹配项,但search()方法可以在找到第一个匹配项后立即停止搜索,这在某些情况下可以提高效率。然而,对于提取所有链接的情况,findall()通常是更好的选择。不过,为了说明search()的用法,我们可以假设我们只关心HTML中的第一个链接。

import re

pattern = re.compile(r"\d+")
# search 字符串中任意位置匹配,如果匹配失败则结束匹配 从第一个开始满足条件的开始往后走 然后在后边有不满足的直接结束 前边不满足的跳过 找到第一个满足的再继续往下走
#方法用于查找字符串的任意位置
#他是一次匹配,只要找到一个匹配的结果就返回,不是查找所有匹配的结果
m1 = pattern.search('one123two456three789')
print(m1.group())

四、findall方法使用

在Python的re模块中,findall()方法用于在字符串中查找所有匹配正则表达式的子串,并返回一个包含所有匹配项的列表。如果没有找到任何匹配项,它将返回一个空列表。这个方法非常适合于从文本中提取多个符合特定模式的片段,如电话号码、电子邮件地址、链接等。

在爬虫开发中,findall()方法常用于从HTML或XML文档中提取多个匹配项。例如,你可能需要从一个网页中提取所有图片的URL、所有链接的文本或所有特定类别的数据。

import re

# pattern = re.compile(r"\d+")  # 正则表达式规则要求
# #  finall 方法用于搜索整个字符串,获得所有匹配结果
# result = pattern.findall('hello 123 world 456')
# print(result)

# 获得所有字母
pattern = re.compile(r"\D+")
result = pattern.findall('hello 123 world 456')
print(result)

五、split方法的使用

在爬虫开发中,split() 方法是 Python 字符串对象的一个非常有用的内置方法,它用于将字符串分割成列表。虽然 split() 方法本身并不直接涉及网络请求或HTML解析等爬虫特有的操作,但它经常在处理从网页中提取的数据时使用,特别是在需要将数据从较大的字符串中分离成更小的、可管理的部分时。

split() 方法可以接受一个可选的分隔符作为参数,如果不提供参数,则默认使用任何空白字符(如空格、换行符 \n、制表符 \t 等)作为分隔符。

在爬虫中,split() 方法可以用于处理从网页中提取的字符串数据,比如将CSV格式的数据行分割成多个字段,或将包含多个值的字符串(由特定分隔符分隔)分解成单独的元素。

import re

str = 'a,b,c'
print(str.split(','))  # 逗号间隔符

str1 = 'a,b;; c d'
# 匹配的格式:按照, ; 空格 进行拆分
pattern = re.compile(r'[\s\,\;]+')  # \s表空格 ,表示,\;表示;
print(pattern.split(str1))

六、sub方法的使用

在爬虫开发中,sub() 方法并不是 Python 标准库中直接用于爬虫的一个特定方法,但它却是 re 模块(正则表达式模块)中一个非常有用的函数,经常在处理从网页中提取的文本数据时用到。sub() 方法用于替换字符串中所有匹配正则表达式的部分。

re.sub(pattern, repl, string, count=0, flags=0) 函数的基本参数如下:

  • pattern:正则表达式的模式字符串。
  • repl:替换的字符串(也可为一个函数)。
  • string:要被查找和替换的原始字符串。
  • count:模式匹配后替换的最大次数,默认为0,表示替换所有的匹配。
  • flags:标志位,用于控制正则表达式的匹配方式,如:是否区分大小写,多行匹配等。

在爬虫中,sub() 方法常用于清理或修改从网页中提取的文本数据。例如,你可能需要去除文本中的HTML标签、替换特定的字符或字符串、清理不必要的空格等。

import re

string = '<h1 class="test">HelloWorld</h1>'
pattern = re.compile(r'\d')
# 参数1:替换后的值
# 参数2:原字符串 原值
print(pattern.sub('2', string))
# 参数3:替换几个
print(pattern.sub('2', string,2))

# 分组
string='<h1 class="test">HelloWorld</h1>'
# P<classname>为组声明一个名字可以通过名字调用该组
pattern = re.compile(r'<(.\d)\sclass="(?P<classname>.*?)">.*?</(.1)>')
print(pattern.search(string).group(1))
print(pattern.search(string).group(2))
print(pattern.search(string).group('classname'))
print(pattern.search(string).group(3))

# 定义函数时定义一个形参m
def func(m):
    return "after sub" + m.group('classname')

# sub方法中传入函数,
# 参数1:函数名
# 参数2:目标字符串
print(pattern.sub(func,string))

七、贪婪匹配

在爬虫和正则表达式(Regular Expressions)中,贪婪匹配(Greedy Matching)是一种默认的行为模式,它会在满足匹配条件的前提下,尽可能多地匹配字符。这种匹配方式通常用于没有明确指定匹配次数的场景,如使用*(匹配0次或多次)、+(匹配1次或多次)、?(匹配0次或1次,但通常与贪婪性无关,因为它本身只涉及是否存在)以及大括号{}指定重复次数的范围时(如{m,n},其中n是可选的,表示至少匹配m次,如果指定了n,则最多匹配n次)。

要避免贪婪匹配,我们可以使用非贪婪(或非贪婪、懒惰)匹配模式。在正则表达式中,通过在量词(如*+?{m,n})后面加上?来实现非贪婪匹配。这样,匹配引擎就会在满足条件的情况下尽可能少地匹配字符。

注意事项

  • 贪婪匹配和非贪婪匹配的选择取决于你的具体需求。在爬虫和正则表达式中,通常建议使用非贪婪匹配来避免匹配过多的内容。

  • 在处理复杂的HTML或XML文档时,建议使用专门的HTML/XML解析器(如BeautifulSoup、lxml等),因为正则表达式可能无法准确处理嵌套标签和复杂的文档结构。

  • 在使用正则表达式时,请确保对正则表达式有足够的了解,以避免出现意外的匹配结果。

    import re

    string = '

    HelloWorld

    '

    pattern = re.compile(r'<.\d\sclass=.*>')

    pattern = re.compile(r'<.\d\sclass=.*?>')

    匹配到最近的

    print(pattern.search(string).group())

相关推荐
running up that hill5 分钟前
Java中List、ArrayList与顺序表
java·开发语言·数据结构
黑狼传说8 分钟前
策略模式结合反射在电商支付系统中的深入应用与实战解析
java·开发语言·策略模式
FUXI_Willard9 分钟前
MATLAB绘图基础8:双变量图形绘制
开发语言·matlab·数据可视化·matlab绘图
青丝不压头颅14 分钟前
Flask学习之项目搭建
python·学习·flask
bugtraq202118 分钟前
Fyne ( go跨平台GUI )中文文档-小部件 (五)
开发语言·microsoft·golang
工业甲酰苯胺21 分钟前
优化 Go 语言数据打包:性能基准测试与分析
开发语言·后端·golang
Annuo、30 分钟前
php中打印函数
开发语言·php
咖啡里的茶i37 分钟前
C++之Person类
开发语言·c++·算法
每天敲200行代码38 分钟前
C++ 红黑树
开发语言·c++·算法
Kalika0-040 分钟前
闰年判断-C语言
c语言·开发语言·算法