爬虫三大解析库：lxml, jsonpath, bs4

这一章的核心就是"如何从获取到的数据中提取我们想要的信息"。这一章介绍了三种主流的解析工具：xpath、jsonpath 和 BeautifulSoup。

XPath 是一种在 XML 和 HTML 文档中查找信息的语言，功能强大且语法灵活。

Python 库 ：安装 lxml 库。

复制代码

pip install lxml -i https://pypi.douban.com/simple

导入库 ：from lxml import etree
创建解析对象 ：
- 解析本地文件 ：html_tree = etree.parse('XX.html')
- 解析服务器响应 ：html_tree = etree.HTML(response.read().decode('utf-8'))
执行解析 ：html_tree.xpath('xpath路径')

当数据接口返回的是 JSON 格式时，使用 JsonPath 比正则表达式或字符串处理要高效得多。

加载 JSON 对象 ：

复制代码

import json
import jsonpath

# 从文件加载
obj = json.load(open('data.json', 'r', encoding='utf-8'))
# 或从字符串加载
# obj = json.loads(response_text)

执行解析 ：

复制代码

ret = jsonpath.jsonpath(obj, 'jsonpath语法')

BeautifulSoup（简称 bs4）是另一个非常流行的 HTML/XML 解析库，以接口设计人性化著称。

创建对象 ：

复制代码

# 解析服务器响应
soup = BeautifulSoup(response.read().decode(), 'lxml')

# 解析本地文件 (注意指定编码)
soup = BeautifulSoup(open('1.html', encoding='utf-8'), 'lxml')

根据标签名查找 ：
- soup.a：只能找到第一个 <a> 标签。
find 系列方法 ：
- find('a')：返回第一个匹配的标签对象。
- find('a', title='名字')：根据属性查找。
- find('a', class_='名字')：注意，因为 class 是 Python 关键字，所以要写成 class_。
- find_all('a')：返回所有匹配的标签对象列表。
- find_all(['a', 'span'])：查找所有 <a> 和 <span> 标签。
- find_all('a', limit=2)：只查找前两个。
select 方法（推荐） ：支持 CSS 选择器语法，功能强大。
- 标签选择器 ：soup.select('p')
- 类选择器 ：soup.select('.firstname')
- ID 选择器 ：soup.select('#firstname')
- 属性选择器 ：soup.select('li[class]') 或 soup.select('li[class="value"]')
- 层级选择器 ：
  - 后代选择器：div p (div 内部所有的 p)
  - 子选择器：div > p (div 的直接子元素 p)
- 组合选择器 ：soup.select('div, span') (查找所有 div 和 span)

获取文本内容 ：
- obj.string：获取标签内的字符串。
- obj.get_text()：推荐，能获取标签内所有文本，即使有嵌套标签。
获取标签名 ：tag.name
获取所有属性 ：tag.attrs (返回一个字典)
获取单个属性值 ：
- obj.attrs.get('title')：常用，如果属性不存在返回 None，不会报错。
- obj.get('title')
- obj['title']：如果属性不存在会报错。