爬虫第七篇数据爬取及解析

这篇博客旨在分享学习过程中的心得和体会,如果有错误请指出,感谢大家。

经过前面的学习,那么我们也就进入了数据爬取的阶段,大家跟着我的步伐一起来学习一下,爬虫的数据爬取与数据解析(本篇主要针对于带有页码的网页)

第一站单页数据获取

首先我们从简单的带页码的网页开始爬取,为啥从带页码的网页开始,有页码的网页点击页码会重新刷新页码数据,可以去掉一部分我们不需要的数据(因为我们一般需要的数据都在页码包含的url里面)

我们接下来实现输入我们需要的页码,然后爬虫自动去获取对应页面的数据,然后返回给我们,再将页码内容需要的具体数据输出

第一步找到页码在url上面的对应数据位置

我们先将其中几页的目标url,将其取下来,比对一下,哪个数据有可能是对应页码的数据

我试验的网址是{pageindex=页码}所以我们可以把url = f'http://....&pageindex={你定义的变量}

这样改完url之后,获取完你输入的数字后,他会自动写入url,取获取对应网页的数据那么代码如下

复制代码
import requests

# 用户输入页码
pageindex = input('请输入你要查看的神秘页码:')
url = f'https://example.com/api/data?pageIndex={pageindex}'
res = requests.get(url)

记得url都最好带上这个f,这样他会用fstring去获取,不容易出错 ,不然会出现解析不出来的情况

第二步解析目标数据

然后就是解析目标数据,然后去获取我们需要的数据

比如目标数据格式为

{"code":200,"data":{

"posts":[{"id"=0,"name"=xiaoli

}]}}

这个时候我们需要去获取最里面的id和name数据我们应该怎么写呢?

复制代码
print(['data']['post'][0]['id'])

第三步循环取出所有需要的id

那么我们再衍生一下,通过循环将列表post里面的所有的id都取出来需要怎么写呢?

复制代码
#将响应数据转换为字典类型
res_data = res.jason()
for i in res_data['data']['post']#通过for循环遍历数据,取出其中的id
    print(i['id'])

由此我们就完成了我们最开始的第一个目标,输入页码跳转对应页面,并输出需要的数据

第二站多页数据获取

获取多页的数据比如获取1-10页的全部的id数据

第一步构建循环去获取1-10页的全部数据

这是知道需要的页码数量的情况下的

复制代码
import request
for page_index in range(1,11):
    url = https://....pageindex={page_index}....
    res = request.get(url)
    res=res.jason()

第二步通过循环去解析对应页码里面数据里的id

复制代码
import request
num = 1
for page_index in range(1,11):
    url = https://....pageindex={page_index}....
    res = request.get(url)
    res_data=res.jason()
    for i in res_data['data']['post']#通过for循环遍历数据,取出其中的id
    print(i['id'])

第三站未知页数数据获取

根据上面的内容,那么我们只要加一个判定上面时候拉去数据为空就停止即可完成全部网页的拉取

复制代码
import requests
    page_index = 1  # 代表分页
count = 1  # 代表取出的序号
while True:
    url = f'https://...pageIndex={page_index}...'
    res = requests.get(url)
    res_data = res.json()
 # 结束的判断条件
    if res_data['Data']['Posts'] == []:#根据网页的数据去判断什么时候拉不到数据
        break
 # 解析数据
    for i in res_data['Data']['Posts']:
        print(count, i['id'])
        count += 1
    print(f'第{page_index}页数据已经全部获取完毕')
    page_index += 1

以上可以去弄比较简单的网页,如果网页会去判断你是否为真人,那么你就需要加上伪装

复制代码
headers = {
 'user-agent':'你网页里的useragent'
}
相关推荐
阿蒙Amon4 分钟前
为什么 12 版仍封神?《C# 高级编程》:从.NET 5 到实战架构,进阶者绕不开的必修课
开发语言·c#
无小道6 分钟前
c++-引用(包括完美转发,移动构造,万能引用)
c语言·开发语言·汇编·c++
爱莉希雅&&&14 分钟前
技术面试题,HR面试题
开发语言·学习·面试
敲键盘的小夜猫1 小时前
LLM复杂记忆存储-多会话隔离案例实战
人工智能·python·langchain
开开心心_Every1 小时前
便捷的Office批量转PDF工具
开发语言·人工智能·r语言·pdf·c#·音视频·symfony
高压锅_12201 小时前
Django Channels WebSocket实时通信实战:从聊天功能到消息推送
python·websocket·django
胖达不服输3 小时前
「日拱一码」020 机器学习——数据处理
人工智能·python·机器学习·数据处理
吴佳浩3 小时前
Python入门指南-番外-LLM-Fingerprint(大语言模型指纹):从技术视角看AI开源生态的边界与挑战
python·llm·mcp
吴佳浩3 小时前
Python入门指南-AI模型相似性检测方法:技术原理与实现
人工智能·python·llm
liulilittle3 小时前
LinkedList 链表数据结构实现 (OPENPPP2)
开发语言·数据结构·c++·链表