㊙️本期内容已收录至专栏《Python爬虫实战》，持续完善知识体系与项目实战，建议先订阅收藏，后续查阅更方便～持续更新中！
㊗️爬虫难度指数：⭐⭐
🚫声明：本数据&代码仅供学习交流，严禁用于商业用途、倒卖数据或违反目标站点的服务条款等，一切后果皆由使用者本人承担。公开榜单数据一般允许访问，但请务必遵守"君子协议"，技术无罪，责任在人。
全文目录：
-
-
- [🌟 开篇语](#🌟 开篇语)
- [1️⃣ 摘要（Abstract）](#1️⃣ 摘要（Abstract）)
- [2️⃣ 背景与需求（Why）](#2️⃣ 背景与需求（Why）)
- [3️⃣ 合规与注意事项（必写）](#3️⃣ 合规与注意事项（必写）)
- [4️⃣ 技术选型与整体流程（What/How）](#4️⃣ 技术选型与整体流程（What/How）)
- [5️⃣ 环境准备与依赖安装（可复现）](#5️⃣ 环境准备与依赖安装（可复现）)
- [6️⃣ 核心实现：请求层（Fetcher）](#6️⃣ 核心实现：请求层（Fetcher）)
- [7️⃣ 核心实现：解析层（Parser）](#7️⃣ 核心实现：解析层（Parser）)
- [8️⃣ 数据存储与导出（Storage）](#8️⃣ 数据存储与导出（Storage）)
- [9️⃣ 运行方式与结果展示（必写）](#9️⃣ 运行方式与结果展示（必写）)
- [🔟 常见问题与排错（强烈建议写）](#🔟 常见问题与排错（强烈建议写）)
- [1️⃣1️⃣ 进阶优化（可选但加分）](#1️⃣1️⃣ 进阶优化（可选但加分）)
- [1️⃣2️⃣ 总结与延伸阅读](#1️⃣2️⃣ 总结与延伸阅读)
- [🌟 文末](#🌟 文末)
-
- [✅ 专栏持续更新中｜建议收藏 + 订阅](#✅ 专栏持续更新中｜建议收藏 + 订阅)
- [✅ 互动征集](#✅ 互动征集)
- [✅ 免责声明](#✅ 免责声明)
-
🌟 开篇语
哈喽，各位小伙伴们你们好呀～我是【喵手】。
运营社区： C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO
欢迎大家常来逛逛，一起学习，一起进步～🌟
我长期专注 Python 爬虫工程化实战 ，主理专栏 《Python爬虫实战》：从采集策略 到反爬对抗 ，从数据清洗 到分布式调度 ，持续输出可复用的方法论与可落地案例。内容主打一个"能跑、能用、能扩展 "，让数据价值真正做到------抓得到、洗得净、用得上。
📌 专栏食用指南（建议收藏）
- ✅ 入门基础：环境搭建 / 请求与解析 / 数据落库
- ✅ 进阶提升：登录鉴权 / 动态渲染 / 反爬对抗
- ✅ 工程实战：异步并发 / 分布式调度 / 监控与容错
- ✅ 项目落地：数据治理 / 可视化分析 / 场景化应用
📣 专栏推广时间 ：如果你想系统学爬虫，而不是碎片化东拼西凑，欢迎订阅/关注专栏👉《Python爬虫实战》👈
💕订阅后更新会优先推送，按目录学习更高效💯～
1️⃣ 摘要（Abstract）
本文针对法律法规网页普遍存在的"长文本分页"与"非结构化"痛点，提出了一套高精度的爬虫解决方案。利用 requests 结合 lxml 进行高效 DOM 解析，配合正则表达式（Regex）精准提取发布日期 与实施日期。
读完本文，你将获得：
- 处理"目录-章节"型网页的递归抓取逻辑。
- 利用正则表达式从杂乱文本中清洗关键日期的高级技巧。
- 一套可以直接复用的法律文本结构化存储代码。
2️⃣ 背景与需求（Why）
在 Legal Tech（法律科技）领域，原始的 HTML 网页没有任何价值，只有结构化的数据才是资产。
-
为什么要爬：构建企业合规库、法律大模型训练语料、法规变更提醒。
-
目标站点特征：通常包含左侧目录树或底部分页器，正文包含大量缩进和特殊空格。
-
目标字段清单：
law_title: 法规名称chapter_title: 章节标题（如"第一章 总则"）clause_content: 条款正文（清洗掉 HTML 标签）release_date: 发布日期implement_date: 实施日期source_url: 来源链接
3️⃣ 合规与注意事项（必写）
法律信息的公开性较强，但我们仍需保持敬畏：
- Robots.txt ：务必检查。虽然大多法律网允许爬取，但需避开
/admin/等后台路径。 - 频率控制：法律网站服务器通常较旧，并发过高容易造成宕机（503 Error）。建议单线程 + 1秒延时。
- 版权声明 ：采集的数据仅限内部研究或构建索引，严禁直接将爬取内容打包出售，尤其是包含商业注释的付费法库。
4️⃣ 技术选型与整体流程（What/How）
-
技术栈：
- HTTP 请求 ：
requests（简单稳定，适合处理静态/半静态页面）。 - 解析库 ：
lxml(XPath) 。为什么选它？ 法律网页结构往往比较陈旧（Table 布局多），XPath 在定位特定层级文本时比 BeautifulSoup 更精准，且速度更快。 - 正则库 ：
re（这是提取日期的唯一真神）。
- HTTP 请求 ：
-
流程逻辑：
- 入口：访问法规目录页/首页。
- 遍历：提取所有章节链接（分页面）。
- 提取：进入章节页，抓取正文。
- 清洗 ：利用正则在头部/尾部匹配日期，清洗正文中的
\u3000(全角空格)。 - 存储：结构化落库。
5️⃣ 环境准备与依赖安装（可复现）
Python 版本：3.8+
安装依赖：可复现）
Python 版本：3.8+
安装依赖：
bash
pip install requests lxml pandas推荐目录结构：
text
LawCrawler/
├── output/ # 结果存放
├── spiders/
│ └── law_spider.py # 核心代码
└── requirements.txt6️⃣ 核心实现：请求层（Fetcher）
针对法律网站常见的反爬（通常是 User-Agent 校验和 IP 封禁），我们需要一个健壮的请求器。
python
import requests
import time
import random
from lxml import etree
class LawFetcher:
def __init__(self):
self.user_agents = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)..."
]
def get_html(self, url):
headers = {
"User-Agent": random.choice(self.user_agents),
"Accept-Language": "zh-CN,zh;q=0.9"
}
try:
# 这里的 timeout 设置稍微长一点，政府网站响应慢
resp = requests.get(url, headers=headers, timeout=20)
resp.raise_for_status()
# 自动处理常见的编码问题（很多法律网是 GBK/GB2312）
if resp.encoding == 'ISO-8859-1':
resp.encoding = resp.apparent_encoding
return resp.text
except Exception as e:
print(f"❌ 请求失败 [{url}]: {e}")
return None7️⃣ 核心实现：解析层（Parser）
这是本篇的精华。我们需要从一堆文字中"抠"出日期和条款。
python
import re
class LawParser:
def parse_dates(self, full_text):
"""
使用正则从全文中提取发布日期和实施日期
支持格式：2023年1月1日, 2023-01-01
"""
# 正则策略：匹配"发布"后跟日期，"实施"后跟日期
date_pattern = re.compile(r"(\d{4}[年\.-]\d{1,2}[月\.-]\d{1,2}[日]?)")
# 预设默认值
release_date = "N/A"
implement_date = "N/A"
# 模拟逻辑：通常日期在标题下方或文末
# 这里演示简单的关键词搜索定位
if "发布" in full_text:
match = date_pattern.search(full_text.split("发布")[-1])
if match: release_date = match.group(1)
if "实施" in full_text or "施行" in full_text:
# 搜索"实施"后面的文本
marker = "实施" if "实施" in full_text else "施行"
match = date_pattern.search(full_text.split(marker)[-1])
if match: implement_date = match.group(1)
return release_date, implement_date
def parse_chapter_content(self, html, base_url):
tree = etree.HTML(html)
# 假设标题在 h1, 正文在 id="content" 的 div 中
title = tree.xpath('//h1/text()')
title = title[0].strip() if title else "未知法规"
# 提取正文纯文本，保留换行以便后续切分条款
content_node = tree.xpath('//div[@class="article-content"]')
if not content_node:
return None
# string(.) 方法能提取节点下所有子标签的文本
raw_text = content_node[0].xpath('string(.)')
# 清洗：去除连续空格、多余换行
clean_text = re.sub(r'\s+', '\n', raw_text).strip()
# 提取日期
r_date, i_date = self.parse_dates(raw_text)
return {
"title": title,
"content": clean_text,
"release_date": r_date,
"implement_date": i_date,
"url": base_url
}8️⃣ 数据存储与导出（Storage）
对于法律条文，CSV 是最通用的格式，但也推荐使用JSONL（每行一个 JSON），因为法律条文可能包含引号、换行符，JSON 格式容错率更高。
这里演示 CSV 存储，重点在于处理换行符。
python
import pandas as pd
import os
def save_to_csv(data_list, filename="laws_data.csv"):
df = pd.DataFrame(data_list)
# 确保输出目录存在
os.makedirs("output", exist_ok=True)
path = f"output/{filename}"
# mode='a' 追加模式，header 只有第一次写
need_header = not os.path.exists(path)
df.to_csv(path, index=False, mode='a', header=need_header, encoding='utf-8-sig')
print(f"💾 已保存 {len(data_list)} 条数据到 {path}")9️⃣ 运行方式与结果展示（必写）
入口文件 main.py：
python
# 模拟主流程
def main():
fetcher = LawFetcher()
parser = LawParser()
# 假设这是某法规的第一章链接
target_url = "http://www.example-law.gov/laws/12345_chapter1.html"
print(f"🚀 开始抓取: {target_url}")
html = fetcher.get_html(target_url)
if html:
data = parser.parse_chapter_content(html, target_url)
if data:
print(f"✅ 解析成功: {data['title']}")
save_to_csv([data])
else:
print("⚠️ 内容解析为空")
if __name__ == "__main__":
main()示例运行结果 (CSV View)：
| title | release_date | implement_date | content | source_url |
|---|---|---|---|---|
| 中华人民共和国数据安全法 | 2021年6月10日 | 2021年9月1日 | 第一章 总则\n第一条 为了规范数据处理活动... | http://... |
| 某省信息化条例 | 2022-05-01 | 2022-06-01 | 第一条 为促进信息化发展... | http://... |
🔟 常见问题与排错（强烈建议写）
-
日期提取：
- 现象：抓到了 "2021" 而不是 "2021-01-01"。
- 解决 ：正则表达式必须贪婪匹配。尽量测试多种格式，如
YYYY.MM.DD和YYYY年MM月DD日。
-
章节断链：
- 现象：只爬到了第一章，后面断了。
- 解决 ：检查"下一页"按钮的
href。很多老网站的下一页是用 JavaScript 函数跳转的（如doPage(2)），这时需要分析 JS 逻辑或改用 Selenium/Playwright。
-
编码乱码：
- 现象 ：法律条文全是
ÅäÃ。 - 解决 ：强制设置
response.encoding = 'gb18030（GB18030 字符集比 GBK 更大，包含很多生僻字，法律文中很常见）。
- 现象 ：法律条文全是
1️⃣1️⃣ 进阶优化（可选但加分）
-
条款原子化拆分 ：
目前的爬虫是抓取整章内容。进阶做法是利用正则
^第[一二三四五六七八九十]+条将整章文本切分为独立的Clause对象。python# 简单的拆分逻辑 clauses = re.split(r"(^第[零一二三四五六七八九十百]+条\s)", content, flags=re.MULTILINE) -
增量监控 ：
记录已爬取 URL 的 Hash 值到 Redis，每天定时跑一遍列表页，发现新 URL 再触发详情页抓取。
1️⃣2️⃣ 总结与延伸阅读
这不仅仅是一个爬虫，它是法律数字化的第一步。
-
复盘 ：我们攻克了非结构化文本中提取 和章节清洗的难题。
-
下一步：
- 尝试将爬下来的数据导入 Elasticsearch，做一个支持全文检索的本地法库。
- 使用 NLP 技术（如 SpaCy 或 Jieba）自动提取法规中的"罚款金额"或"责令停产"等实体。
🌟 文末
好啦～以上就是本期的全部内容啦！如果你在实践过程中遇到任何疑问，欢迎在评论区留言交流，我看到都会尽量回复～咱们下期见！
小伙伴们在批阅的过程中，如果觉得文章不错，欢迎点赞、收藏、关注哦～
三连就是对我写作道路上最好的鼓励与支持！ ❤️🔥
✅ 专栏持续更新中｜建议收藏 + 订阅
墙裂推荐订阅专栏 👉 《Python爬虫实战》，本专栏秉承着以"入门 → 进阶 → 工程化 → 项目落地"的路线持续更新，争取让每一期内容都做到：
✅ 讲得清楚（原理）｜✅ 跑得起来（代码）｜✅ 用得上（场景）｜✅ 扛得住（工程化）
📣 想系统提升的小伙伴 ：强烈建议先订阅专栏 《Python爬虫实战》，再按目录大纲顺序学习，效率十倍上升～
✅ 互动征集
想让我把【某站点/某反爬/某验证码/某分布式方案】等写成某期实战？
评论区留言告诉我你的需求，我会优先安排实现(更新)哒~
⭐️ 若喜欢我，就请关注我叭～（更新不迷路）
⭐️ 若对你有用，就请点赞支持一下叭～（给我一点点动力）
⭐️ 若有疑问，就请评论留言告诉我叭～（我会补坑 & 更新迭代）
✅ 免责声明
本文爬虫思路、相关技术和代码仅用于学习参考，对阅读本文后的进行爬虫行为的用户本作者不承担任何法律责任。
使用或者参考本项目即表示您已阅读并同意以下条款：
- 合法使用： 不得将本项目用于任何违法、违规或侵犯他人权益的行为，包括但不限于网络攻击、诈骗、绕过身份验证、未经授权的数据抓取等。
- 风险自负： 任何因使用本项目而产生的法律责任、技术风险或经济损失，由使用者自行承担，项目作者不承担任何形式的责任。
- 禁止滥用： 不得将本项目用于违法牟利、黑产活动或其他不当商业用途。
- 使用或者参考本项目即视为同意上述条款,即 "谁使用，谁负责" 。如不同意，请立即停止使用并删除本项目。！！！
