玩转Python爬虫中的正则表达式:从原理到实战!

🔸 正则表达式原理概述

正则表达式(Regular Expression,简称RE)是一种用于匹配文本的强大工具。它通过一些特殊字符(称为元字符)和模式,能够在文本中进行搜索、替换和解析操作。Python中的re模块提供了对正则表达式的支持,使我们可以方便地进行文本处理。


🔸 通用符号学习:各种元字符

让我们先来学习一些常见的元字符及其含义:

  • . :匹配除换行符外的任意字符
  • ^ :匹配字符串的开头
  • $ :匹配字符串的结尾
  • * :匹配前面的字符零次或多次
  • + :匹配前面的字符一次或多次
  • ? :匹配前面的字符零次或一次
  • {n} :匹配前面的字符恰好n次
  • {n,} :匹配前面的字符至少n次
  • {n,m} :匹配前面的字符至少n次,但不超过m次
  • [] :匹配方括号内的任意字符
  • | :匹配左右任意一个表达式
  • () :标记一个子表达式,用于分组和提取

🔹 常见的转义字符:

  • \d :匹配任何十进制数字,相当于[0-9]
  • \D :匹配任何非数字字符,相当于[^0-9]
  • \w :匹配任何字母数字字符及下划线,相当于[A-Za-z0-9_]
  • \W :匹配任何非字母数字字符及下划线,相当于[^A-Za-z0-9_]
  • \s :匹配任何空白字符,相当于[ \t\n\r\f\v]
  • \S :匹配任何非空白字符,相当于[^ \t\n\r\f\v]

🔸 分组和通用匹配

在正则表达式中,使用圆括号()可以对模式进行分组,这样我们可以提取匹配的子字符串。

python 复制代码
import re

pattern = r"(\d{4})-(\d{2})-(\d{2})"
text = "2024-07-31"
match = re.match(pattern, text)
if match:
    year, month, day = match.groups()
    print(f"Year: {year}, Month: {month}, Day: {day}")

🔹 在这个示例中,模式 (\d{4})-(\d{2})-(\d{2}) 匹配日期格式 YYYY-MM-DD,并将年、月、日分别分组。


🔸 贪婪和非贪婪模式

正则表达式中的*+?等量词默认是贪婪的,即尽可能多地匹配字符。我们可以通过在量词后加上?来将其变为非贪婪模式,即尽可能少地匹配字符。

python 复制代码
import re

text = "<div>content</div><div>more content</div>"
pattern_greedy = r"<div>.*</div>"
pattern_non_greedy = r"<div>.*?</div>"

# 贪婪模式
greedy_match = re.findall(pattern_greedy, text)
print(f"Greedy match: {greedy_match}")

# 非贪婪模式
non_greedy_match = re.findall(pattern_non_greedy, text)
print(f"Non-greedy match: {non_greedy_match}")

🔹 在这个示例中,贪婪模式匹配了整个字符串,而非贪婪模式则分别匹配了每个<div>标签中的内容。


🔸 findall、match和search方法

Python的re模块提供了多种方法来进行正则表达式匹配:

  1. re.findall(pattern, string):返回所有与模式匹配的子串列表。
python 复制代码
import re

text = "There are 3 cats, 5 dogs, and 7 birds."
pattern = r"\d+"
matches = re.findall(pattern, text)
print(f"Numbers found: {matches}")
  1. re.match(pattern, string):从字符串的起始位置开始匹配模式,成功则返回Match对象,否则返回None
python 复制代码
import re

text = "2024-07-31"
pattern = r"\d{4}-\d{2}-\d{2}"
match = re.match(pattern, text)
if match:
    print(f"Matched: {match.group()}")
  1. re.search(pattern, string):搜索整个字符串,找到第一个与模式匹配的子串,成功则返回Match对象,否则返回None
python 复制代码
import re

text = "Contact us at support@example.com"
pattern = r"[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}"
match = re.search(pattern, text)
if match:
    print(f"Email found: {match.group()}")

🔸 总结

🔹 通过这次学习,我们掌握了正则表达式的基本原理、常用元字符、分组与匹配、贪婪与非贪婪模式,以及re模块中的常用方法。正则表达式在爬虫中非常实用,可以帮助我们高效地提取和处理文本数据。希望大家能够熟练掌握这些技巧,在实际项目中灵活运用!

相关推荐
蹦蹦跳跳真可爱5893 小时前
Python----OpenCV(图像増强——高通滤波(索贝尔算子、沙尔算子、拉普拉斯算子),图像浮雕与特效处理)
人工智能·python·opencv·计算机视觉
nananaij3 小时前
【Python进阶篇 面向对象程序设计(3) 继承】
开发语言·python·神经网络·pycharm
雷羿 LexChien3 小时前
从 Prompt 管理到人格稳定:探索 Cursor AI 编辑器如何赋能 Prompt 工程与人格风格设计(上)
人工智能·python·llm·编辑器·prompt
敲键盘的小夜猫4 小时前
LLM复杂记忆存储-多会话隔离案例实战
人工智能·python·langchain
高压锅_12204 小时前
Django Channels WebSocket实时通信实战:从聊天功能到消息推送
python·websocket·django
咸鱼时日翻身5 小时前
正则表达式
正则表达式
胖达不服输6 小时前
「日拱一码」020 机器学习——数据处理
人工智能·python·机器学习·数据处理
吴佳浩6 小时前
Python入门指南-番外-LLM-Fingerprint(大语言模型指纹):从技术视角看AI开源生态的边界与挑战
python·llm·mcp
吴佳浩6 小时前
Python入门指南-AI模型相似性检测方法:技术原理与实现
人工智能·python·llm
叶 落7 小时前
计算阶梯电费
python·python 基础·python 入门