正则表达式
常用的匹配模式
python
\d # 匹配任意一个数字
\D # 匹配任意一个非数字
\w # 匹配任意一个单词字符(数字、字母、下划线)
\W # 匹配任意一个非单词字符
. # 匹配任意一个字符(除了换行符)
[a-z] # 匹配任意一个小写字母
[\u4e00-\u9fa5] # 匹配任意一个汉字
^ # 匹配字符串的开始
$ # 匹配字符串的结束
? # 匹配0次或1次
+ # 匹配1次或多次
* # 匹配任意次
{n} # 匹配n次
{n,} # 至少匹配n次
{n, m} # 至少匹配n次, 最多匹配m次
a|b # 匹配a或者b
() # 匹配括号内的表达式
正则表达式的基础演示
Python
# 1.匹配符合指定个数的字符串
# 导入正则表达式的库
import re
tel = '123456'
tel1 = '1234567'
result = re.match("^\d{6}$",tel)
result1 = re.match("\d{6}$",tel1)
result3 = re.match("\d{6}", tel)
print(result) # 返回结果:<re.Match object; span=(0, 6), match='123456'>
print(result1) # 返回结果:None
print(result3) # 返回结果:<re.Match object; span=(0, 6), match='123456'>
Python
# 1.匹配汉字
name = '啦啦1啦'
name2 = '2哈哈哈'
# match是从开头开始搜索,开头有汉字就有,没汉字就没有
result = re.match("[\u4e00-\u9fa5]{2,4}", name)
result1 = re.match("[\u4e00-\u9fa5]{2,4}", name2) # 从开头开始搜索
# search是全局搜索
result2 = re.search("[\u4e00-\u9fa5]{2,4}", name2)
result3 = re.search("[\u4e00-\u9fa5]{2,4}", name)
print(result)
print(result1)
print(result2)
print(result3)
# 返回的结果依次是:
# <re.Match object; span=(0, 2), match='啦啦'>
# None
# <re.Match object; span=(1, 4), match='哈哈哈'>
# <re.Match object; span=(0, 2), match='啦啦'>
Python
# 3. search 只匹配一次,findall 对整个字符串进行检索
keys = 'good good study 2012 , day day up 2022'
result = re.search('good', keys)
print('匹配1条:', result)
# 返回的结果: 匹配1条: <re.Match object; span=(0, 4), match='good'>
result2 = re.findall('good', keys)
print('匹配多条并以列表的格式返回:', result2)
# 返回的结果: 匹配多条并以列表的格式返回: ['good', 'good']
正则表达式与爬虫结合小案例,爬取豆瓣top250的图片
Python
import re
import requests
import os
# 网页URL爬取
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36'}
response = requests.get(
'https://movie.douban.com/top250',headers=headers)
print(response.text)
# <img width="100" alt="寻梦环游记" src="https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2505426431.jpg" class="">
title = 'width="100" alt="(.*?)" '
zp = 'src="(.*?)" class=""'
select = 'width="100" alt="(.*?)" src="(.*?)" class=""'
name = re.findall(title, response.text)
zpUrl = re.findall(zp, response.text)
ok = re.findall(select, response.text)
print(name)
print(zpUrl)
print(ok)
# 创建保存图片的目录
save_dir = 'downloaded_images'
if not os.path.exists(save_dir):
os.makedirs(save_dir)
for i, ii in enumerate(ok):
# print(i)
print(f'电影{ii[0]}的海报下载地址:{ii[1]}')
# 下载图片内容
img_data = requests.get(ii[1]).content
# 构建保存路径
file_path = os.path.join(save_dir, f'{i+1}.{ii[0]}.jpg')
# 保存图片
with open(file_path, 'wb') as file:
file.write(img_data)
print(f'Image {i+1} saved to {file_path}')
else:
print('Failed to retrieve the webpage')
正则表达式中的 .*?
和 .*
的区别
在正则表达式中,.*?
和 .*
都用于匹配任意数量的字符,但它们的匹配方式有所不同。
1. .*的理解
- 定义 :
.*
匹配任意数量的字符(包括零个字符),并且是 贪婪(greedy)的。 - 贪婪模式 :贪婪模式会尽可能多地匹配字符。例如,在字符串
abc123def
中,正则表达式a.*d
将匹配整个字符串,因为.*
会尽可能地匹配到最后的d
。 - 示例 :
- 输入 :
abc123def
- 正则 :
a.*d
- 匹配结果 :
abc123def
- 输入 :
2. .*?的理解
- 定义 :
.*?
同样匹配任意数量的字符(包括零个字符),但它是 非贪婪(lazy)的。 - 非贪婪模式 :非贪婪模式会尽可能少地匹配字符,优先匹配最短的字符串。例如,在同样的字符串
abc123def
中,正则表达式a.*?d
只会匹配ab
和d
之间的字符,结果是abc123def
中的a
和第一个d
之间的最短部分。 - 示例 :
- 输入 :
abc123def
- 正则 :
a.*?d
- 匹配结果 :
abc123d
- 输入 :
总结
.*
是贪婪的,会尽量多地匹配字符,直到最后一个符合条件的字符。.*?
是非贪婪的,会尽量少地匹配字符,优先返回最短的符合条件的字符串。
将爬取的图片以wb保存二进制文件
正则表达式获取豆瓣电影评分和参评人数
解析网页另一好用方法xpath
通过提问逐步理解
1.提问1:xm1和htm1分别代表什么意思?有什么区别
- xml:可扩展的标记语言,html:超文本标记语句
- 相同点:成双成对,又开始有结束。
- 区别:xml的标签可以自定义,语法更自由
2.提问2:xpath的作用
- xpath使用路径表达式在xml或html文档中查找目标信息
3.提问3:如果想使用xpath,必须安装哪个库(其中使用了清华镜像)
Python
pip install lxml -i https://pypi.tuna.tsinqhua.edu.cn/simple
4.问题四: 如何构建etree树(使用的网页网址为https://movie.douban.com/top250)
任务4的案例源发如下:
Python
import requests
from lxml import etree
# 通过读取本地下载好的网页文件再对网页内容进行解析提取
file = open('demo1.html', 'r', encoding='utf-8')
# 读取目前网页内容
content = file.read()
# 构建etree树后,才可以使用xpath表达式
html = etree.HTML(content)
# 使用XPath提取图片的src属性
image_urls = html.xpath('//a/img/@src')
# 获取电影名称
title = html.xpath('//span[@class="title"][1]/text()')
print(title)
# 下载图片
for i, url in enumerate(image_urls):
# 设置图片保存路径
file_path = f"图片/{i}{title[i]}.webp"
# 下载图片
response = requests.get(url)
if response.status_code == 200:
with open(file_path, 'wb') as f:
f.write(response.content)
print(f"图片已下载到: {file_path}")
else:
print(f"图片下载失败: {url}")
效果如下: