爬虫第七篇数据爬取及解析

这篇博客旨在分享学习过程中的心得和体会,如果有错误请指出,感谢大家。

经过前面的学习,那么我们也就进入了数据爬取的阶段,大家跟着我的步伐一起来学习一下,爬虫的数据爬取与数据解析(本篇主要针对于带有页码的网页)

第一站单页数据获取

首先我们从简单的带页码的网页开始爬取,为啥从带页码的网页开始,有页码的网页点击页码会重新刷新页码数据,可以去掉一部分我们不需要的数据(因为我们一般需要的数据都在页码包含的url里面)

我们接下来实现输入我们需要的页码,然后爬虫自动去获取对应页面的数据,然后返回给我们,再将页码内容需要的具体数据输出

第一步找到页码在url上面的对应数据位置

我们先将其中几页的目标url,将其取下来,比对一下,哪个数据有可能是对应页码的数据

我试验的网址是{pageindex=页码}所以我们可以把url = f'http://....&pageindex={你定义的变量}

这样改完url之后,获取完你输入的数字后,他会自动写入url,取获取对应网页的数据那么代码如下

复制代码
import requests

# 用户输入页码
pageindex = input('请输入你要查看的神秘页码:')
url = f'https://example.com/api/data?pageIndex={pageindex}'
res = requests.get(url)

记得url都最好带上这个f,这样他会用fstring去获取,不容易出错 ,不然会出现解析不出来的情况

第二步解析目标数据

然后就是解析目标数据,然后去获取我们需要的数据

比如目标数据格式为

{"code":200,"data":{

"posts":[{"id"=0,"name"=xiaoli

}]}}

这个时候我们需要去获取最里面的id和name数据我们应该怎么写呢?

复制代码
print(['data']['post'][0]['id'])

第三步循环取出所有需要的id

那么我们再衍生一下,通过循环将列表post里面的所有的id都取出来需要怎么写呢?

复制代码
#将响应数据转换为字典类型
res_data = res.jason()
for i in res_data['data']['post']#通过for循环遍历数据,取出其中的id
    print(i['id'])

由此我们就完成了我们最开始的第一个目标,输入页码跳转对应页面,并输出需要的数据

第二站多页数据获取

获取多页的数据比如获取1-10页的全部的id数据

第一步构建循环去获取1-10页的全部数据

这是知道需要的页码数量的情况下的

复制代码
import request
for page_index in range(1,11):
    url = https://....pageindex={page_index}....
    res = request.get(url)
    res=res.jason()

第二步通过循环去解析对应页码里面数据里的id

复制代码
import request
num = 1
for page_index in range(1,11):
    url = https://....pageindex={page_index}....
    res = request.get(url)
    res_data=res.jason()
    for i in res_data['data']['post']#通过for循环遍历数据,取出其中的id
    print(i['id'])

第三站未知页数数据获取

根据上面的内容,那么我们只要加一个判定上面时候拉去数据为空就停止即可完成全部网页的拉取

复制代码
import requests
    page_index = 1  # 代表分页
count = 1  # 代表取出的序号
while True:
    url = f'https://...pageIndex={page_index}...'
    res = requests.get(url)
    res_data = res.json()
 # 结束的判断条件
    if res_data['Data']['Posts'] == []:#根据网页的数据去判断什么时候拉不到数据
        break
 # 解析数据
    for i in res_data['Data']['Posts']:
        print(count, i['id'])
        count += 1
    print(f'第{page_index}页数据已经全部获取完毕')
    page_index += 1

以上可以去弄比较简单的网页,如果网页会去判断你是否为真人,那么你就需要加上伪装

复制代码
headers = {
 'user-agent':'你网页里的useragent'
}
相关推荐
qianbo_insist7 分钟前
c++ python 共享内存
开发语言·c++·python
今天背单词了吗98021 分钟前
算法学习笔记:8.Bellman-Ford 算法——从原理到实战,涵盖 LeetCode 与考研 408 例题
java·开发语言·后端·算法·最短路径问题
CoderPractice27 分钟前
C#控制台小项目-飞行棋
开发语言·c#·小游戏·飞行棋
Coding小公仔35 分钟前
LeetCode 151. 反转字符串中的单词
开发语言·c++·算法
程序猿阿伟36 分钟前
《声音的变形记:Web Audio API的实时特效法则》
开发语言·前端·php
凌览40 分钟前
有了 25k Star 的MediaCrawler爬虫库加持,三分钟搞定某红书、某音等平台爬取!
前端·后端·python
这里有鱼汤1 小时前
给你的DeepSeek装上实时行情,让他帮你炒股
后端·python·mcp
Humbunklung1 小时前
Rust方法语法:赋予结构体行为的力量
开发语言·后端·rust
萧曵 丶1 小时前
Rust 内存结构:深入解析
开发语言·后端·rust