xpath-csv_doban_slider

盐烟2026-04-26 8:08

项目要求：

使用xpath批量化获取豆瓣单页数据，并使用csv保存数据

思路：

1.安装xpath所需工具包

2.引用所用到的方法

3.爬取对应网页的数据

4.使用csv保存

注意点：

1.xpath是xlml库中extree的方法

2.xpath适用于HTML格式字符串，需要将获取的数据通过.HTML()方法返回一个Python对象再使用

3.enumerate()函数返回(下标,元素)或是(下标,键名)元组，可以使用拆包

4.使用xpath爬取单页数据多个目标数据，关键点在于xpath路径的修改

5.csv格式可用表格打开，所设置第一个列表为表头

python 复制代码

import csv
import requests
from lxml import etree

url = "https://movie.douban.com/top250"
headers = {"user-agent":
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/137.0.0.0 Safari/537.36 Edg/137.0.0.0"}
response = requests.get(url,headers=headers)
data = response.text
data_x = etree.HTML(data)
res1 = data_x.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[1]/a/span[1]/text()')
res2= data_x.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/p[1]/text()[1]')

text = [
    ['排名', '电影名称', '导演主演']
]
for i,j in enumerate(res1):
    text_=text.append([i+1,j,res2[i]])
with open('电影单页_xpath.csv', 'w', encoding='utf-8-sig', newline='') as file:
    writer = csv.writer(file)
    writer.writerows(text)