目录
[1. 前言](#1. 前言)
[2. 正则表达式的基本概念](#2. 正则表达式的基本概念)
[2.1 什么是正则表达式？](#2.1 什么是正则表达式？)
[2.2 常用元字符](#2.2 常用元字符)
[3. re库的适应场景](#3. re库的适应场景)
[3.1 验证用户输入](#3.1 验证用户输入)
[3.2 从文本中提取信息](#3.2 从文本中提取信息)
[3.3 文本替换与格式化](#3.3 文本替换与格式化)
[3.4 分割复杂字符串](#3.4 分割复杂字符串)
[3.5 数据清洗与预处理](#3.5 数据清洗与预处理)
[4. re库的核心功能详解](#4. re库的核心功能详解)
[4.1 re.match()：从字符串开头匹配](#4.1 re.match()：从字符串开头匹配)
[4.2 re.search()：在字符串中搜索匹配](#4.2 re.search()：在字符串中搜索匹配)
[4.3 re.findall()：查找所有匹配项](#4.3 re.findall()：查找所有匹配项)
[4.4 re.finditer()：返回迭代器对象](#4.4 re.finditer()：返回迭代器对象)
[5.5 re.sub()：替换匹配项](#5.5 re.sub()：替换匹配项)
[4.6 re.split()：分割字符串](#4.6 re.split()：分割字符串)
[4.7 编译正则表达式](#4.7 编译正则表达式)
[4.8 使用组提取特定信息](#4.8 使用组提取特定信息)
[4.9 非贪婪匹配](#4.9 非贪婪匹配)
[5. 常见正则表达式模板](#5. 常见正则表达式模板)
[5.1 验证邮箱](#5.1 验证邮箱)
[5.2 验证手机号](#5.2 验证手机号)
[5.3 匹配URL](#5.3 匹配URL)
[5.4 提取日期](#5.4 提取日期)
[5.5 匹配HTML标签](#5.5 匹配HTML标签)
[6. 性能优化技巧](#6. 性能优化技巧)
[6.1 编译正则表达式](#6.1 编译正则表达式)
[6.2 使用非捕获组](#6.2 使用非捕获组)
[6.3 选择合适的匹配模式](#6.3 选择合适的匹配模式)
[6.4 预处理正则表达式](#6.4 预处理正则表达式)
[7. 总结](#7. 总结)
1. 前言
在数据处理、文本分析和自动化开发等场景中，文本处理是Python开发者最常面对的任务之一。想象一下，当你需要从用户输入中验证邮箱格式、从日志文件中提取错误信息、或从网页HTML中抓取特定数据时，手动逐字符检查和提取效率低且容易出错。Python的re库提供了强大的正则表达式支持，它就像一把瑞士军刀，能够优雅地解决各种复杂文本处理任务。本文将深入浅出地介绍re库的基本概念、适应场景和实战技巧，帮助你掌握这门文本处理的艺术。
2. 正则表达式的基本概念
2.1 什么是正则表达式？
正则表达式（Regular Expression，简称Regex）是一种文本模式描述语言，用于定义具有特定格式的字符串规则。它如同数学中的方程式，但操作对象是文本模式而非数值。
例如：
-
a匹配字符a -
a+匹配一个或多个连续的a -
a?匹配零个或一个a -
a|b匹配a或b -
^start匹配以start开头的字符串 -
end$匹配以end结尾的字符串
2.2 常用元字符
正则表达式的强大来自于元字符（具有特殊含义的字符），以下是常用元字符及其含义：
| 元字符 | 含义 | 示例 |
|---|---|---|
. |
匹配任意单个字符（除换行符） | a.b 匹配 aXb |
* |
匹配前面的子表达式0次或多次 | ab* 匹配 a, ab, abb |
+ |
匹配前面的子表达式1次或多次 | ab+ 匹配 ab, abb |
? |
匹配前面的子表达式0次或1次 | ab?c 匹配 ac 或 abc |
[] |
匹配指定范围内的任意字符 | [a-z] 匹配小写字母 |
^ |
匹配字符串开头或排除指定字符 | ^hello 匹配以hello开头的字符串 |
$ |
匹配字符串结尾 | world$ 匹配以world结尾的字符串 |
\d |
匹配任意数字 | \d{3} 匹配三位数字 |
\w |
匹配字母、数字或下划线 | \w+ 匹配连续的单词字符 |
\s |
匹配任意空白字符 | \s+ 匹配一个或多个空格 |
3. re库的适应场景
3.1 验证用户输入
python
import re
def validate_email(email):
pattern = r'^[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+$'
return re.match(pattern, email) is not None
print(validate_email("[email protected]")) # True
print(validate_email("invalid_email@")) # False3.2 从文本中提取信息
python
text = "Contact us at [email protected] or [email protected]"
# 提取所有邮箱地址
emails = re.findall(r'[\w.-]+@[\w.-]+', text)
print(emails) # ['[email protected]', '[email protected]']3.3 文本替换与格式化
python
text = "The price is $100.50 and the discount is $20"
# 将价格转换为中文格式
formatted_text = re.sub(r'\$(\d+\.?\d*)', r'¥\1', text)
print(formatted_text) # The price is ¥100.50 and the discount is ¥203.4 分割复杂字符串
python
text = "apple,orange;banana grape"
# 使用多种分隔符分割
fruits = re.split(r'[;,,\s]\s*', text)
print(fruits) # ['apple', 'orange', 'banana', 'grape']3.5 数据清洗与预处理
python
text = " Hello World This is Python "
# 去除多余空格并分割单词
clean_words = re.sub(r'\s+', ' ', text).strip().split()
print(clean_words) # ['Hello', 'World', 'This', 'is', 'Python']4. re库的核心功能详解
4.1 re.match()：从字符串开头匹配
python
pattern = r'^Hello'
text = "Hello World!"
match_obj = re.match(pattern, text)
if match_obj:
print("Match found:", match_obj.group()) # Match found: Hello
else:
print("No match")4.2 re.search()：在字符串中搜索匹配
python
pattern = r'World'
text = "Hello World!"
search_obj = re.search(pattern, text)
if search_obj:
print("Search found:", search_obj.group()) # Search found: World
else:
print("Not found")4.3 re.findall()：查找所有匹配项
python
text = "The rain in Spain stays mainly in the plain"
pattern = r'ain'
matches = re.findall(pattern, text)
print(matches) # ['ain', 'ain', 'ain']4.4 re.finditer()：返回迭代器对象
python
text = "The rain in Spain stays mainly in the plain"
pattern = r'ain'
for match in re.finditer(pattern, text):
print(f"Found '{match.group()}' at position {match.start()}")5.5 re.sub()：替换匹配项
python
text = "Hello World"
pattern = r'World'
replacement = "Python"
new_text = re.sub(pattern, replacement, text)
print(new_text) # Hello Python4.6 re.split()：分割字符串
python
text = "apple, orange; banana grape"
pattern = r'[;,]\s*'
result = re.split(pattern, text)
print(result) # ['apple', 'orange', 'banana grape']4.7 编译正则表达式
python
pattern = re.compile(r'\d+')
text1 = "There are 123 apples"
text2 = "And 456 oranges"
print(pattern.findall(text1)) # ['123']
print(pattern.findall(text2)) # ['456']4.8 使用组提取特定信息
python
text = "John Doe: [email protected]"
pattern = r'(\w+) (\w+): (\S+)'
match = re.match(pattern, text)
if match:
first_name, last_name, email = match.groups()
print(f"First Name: {first_name}") # First Name: John
print(f"Last Name: {last_name}") # Last Name: Doe
print(f"Email: {email}") # Email: [email protected](\S+): 匹配冒号后面的非空白字符（如[email protected]），捕获为email。
4.9 非贪婪匹配
python
text = "<div><p>Hello</p><span>World</span></div>"
# 贪婪匹配
print(re.findall(r'<div>.*</div>', text)) # ['<div><p>Hello</p><span>World</span></div>']
# 非贪婪匹配
print(re.findall(r'<div>.*?</div>', text)) # ['<div><p>Hello</p><span>World</span>']5. 常见正则表达式模板
5.1 验证邮箱
python
email_pattern = r'^[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+$'5.2 验证手机号
python
phone_pattern = r'^1[3-9]\d{9}$' # 中国手机号\d{9}：匹配 9 个任意数字。\d表示任意一个数字（0-9），{9}表示前面的表达式（这里是指\d）必须连续出现 9 次。
5.3 匹配URL
python
url_pattern = r'https?://(?:[-\w.]|(?:%[\da-fA-F]{2}))+' # 简化版URL匹配5.4 提取日期
python
date_pattern = r'\b(19|20)\d\d[-/.](0[1-9]|1[0-2])[-/.](0[1-9]|[12][0-9]|3[01])\b'5.5 匹配HTML标签
python
html_tag_pattern = r'<(\w+)(?:\s+[^>]*)?>.*?</\1>' # 匹配成对标签6. 性能优化技巧
6.1 编译正则表达式
python
# 不编译
for text in large_text_list:
re.findall(pattern, text)
# 编译后（推荐）
compiled_pattern = re.compile(pattern)
for text in large_text_list:
compiled_pattern.findall(text)6.2 使用非捕获组
python
# 普通组
pattern = r'(\d+)-(\d+)'
# 非捕获组（提高性能）
pattern = r'\d+-(?:\d+)'6.3 选择合适的匹配模式
python
# 贪婪匹配可能导致性能问题
pattern = r'.*'
# 使用更精确的模式
pattern = r'\w+'6.4 预处理正则表达式
python
# 预处理
patterns = {
'email': re.compile(r'^[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+$'),
'phone': re.compile(r'^1[3-9]\d{9}$')
}
# 使用时直接调用
if patterns['email'].match(user_input):
# 处理邮箱
pass7. 总结
Python的re库为我们提供了强大的文本处理能力，通过正则表达式，我们可以轻松应对各种复杂的文本匹配、提取、替换和验证任务。从简单的字符串检查到复杂的模式匹配，re库都能提供高效的解决方案。在实际开发中，合理使用正则表达式可以大大简化代码逻辑，提高程序的鲁棒性和可维护性。
然而，正则表达式的强大也意味着复杂性，设计不当的正则表达式可能导致性能问题甚至安全漏洞（如ReDoS攻击）。因此，在使用re库时，我们应遵循以下原则：
-
务必保持正则表达式的可读性，必要时添加注释
-
对于复杂的正则表达式，考虑使用
reVERBOSE模式添加注释 -
测试各种可能的输入情况，确保正则表达式的行为符合预期
-
在处理大量数据时，注意性能优化，编译正则表达式并合理使用非捕获组
掌握re库不仅是一项技术技能，更是一种思维模式。它教会我们如何用模式化的思维分析问题、如何用最简洁的方式表达复杂的规则、以及如何在精确性和性能之间找到平衡。希望本文能帮助你深入理解Python的re库，让你在文本处理的战场上如虎添翼。我是橙色小博，关注我，一起在人工智能领域学习进步！