Python 爬虫实战----3(实力展现)

实战:获取豆瓣电影top250的电影名字

1.获取url:打开网站按发f12,点击网络,刷新找到第一个截取url和User-Agent。

2.请求爬取数据

python 复制代码
mport requests
import fake_useragent
from lxml import etree
import re
#UA
head = {
    "User-Agent": fake_useragent.UserAgent().random

}#这里使用了fake_useragent,会自动生成一个user-agent

url = "https://movie.douban.com/top250"
response = requests.get(url, headers=head)

2.定位想要的数据(其他数据也可以,同样找地址)

在元素中定位(列表一般都是有序的,所以只用定位一个例子)

python 复制代码
response = requests.get(url, headers=head)
res_text = response.text
tree = etree.HTML(res_text)
#定位需要的数据
list_li=tree.xpath("//ol[@class='grid_view']/li")
for li in list_li:
    movie_name="".join(li.xpath(".//span[@class='title'][1]/text()"))

我们进入下一个页面,发现下一个页面多了start=25的参数,可判断下下个页面是start=50,以此类推,可以通过遍历访问每一个页面。

python 复制代码
https://movie.douban.com/top250?start=25&filter=
python 复制代码
for i in range(0, 250, 25):
    url = f"https://movie.douban.com/top250?start={i}&filter="

修改url

3.输出并储存:

python 复制代码
# 打开一个文件写入数据
fp = open("./doubanFilm.txt", "w", encoding="utf8")
fp.write(movie_name+"\n")
        print(movie_name)
fp.close()

总结:将每一步整合:

python 复制代码
import requests
import fake_useragent
from lxml import etree

#UA
head = {
    "User-Agent": fake_useragent.UserAgent().random

}
# 打开一个文件写入数据
fp = open("./doubanFilm.txt", "w", encoding="utf8")

for i in range(0, 250, 25):
    url = f"https://movie.douban.com/top250?start={i}&filter="

    response = requests.get(url, headers=head)
    res_text = response.text
    tree = etree.HTML(res_text)
#定位需要的数据
    list_li=tree.xpath("//ol[@class='grid_view']/li")
    for li in list_li:
        movie_name="".join(li.xpath(".//span[@class='title'][1]/text()"))


        fp.write(movie_name+"\n")
        print(movie_name)
fp.close()

运行:

运行成功,想要其他的数据也是可行的,只需找到需要的地址,以一个为例即可,每个的规律相同

爬虫重在仔细,耐心。

相关推荐
灵智工坊LingzhiAI2 小时前
人体坐姿检测系统项目教程(YOLO11+PyTorch+可视化)
人工智能·pytorch·python
weixin_472339465 小时前
高效处理大体积Excel文件的Java技术方案解析
java·开发语言·excel
枯萎穿心攻击6 小时前
响应式编程入门教程第二节:构建 ObservableProperty<T> — 封装 ReactiveProperty 的高级用法
开发语言·unity·c#·游戏引擎
Eiceblue7 小时前
【免费.NET方案】CSV到PDF与DataTable的快速转换
开发语言·pdf·c#·.net
m0_555762908 小时前
Matlab 频谱分析 (Spectral Analysis)
开发语言·matlab
浪裡遊9 小时前
React Hooks全面解析:从基础到高级的实用指南
开发语言·前端·javascript·react.js·node.js·ecmascript·php
烛阴9 小时前
简单入门Python装饰器
前端·python
lzb_kkk9 小时前
【C++】C++四种类型转换操作符详解
开发语言·c++·windows·1024程序员节
好开心啊没烦恼10 小时前
Python 数据分析:numpy,说人话,说说数组维度。听故事学知识点怎么这么容易?
开发语言·人工智能·python·数据挖掘·数据分析·numpy
面朝大海,春不暖,花不开10 小时前
使用 Python 实现 ETL 流程:从文本文件提取到数据处理的全面指南
python·etl·原型模式