Python之爬虫入门--示例(2)

一、Requests库安装

可以使用命令提示符指令直接安装requests库使用

python 复制代码
pip install requests

二、爬取JSON数据

(1)、点击网络

(2)、刷新网页

(3)、这里有一些数据类型,选择全部

(4)、必须了解信息

三、了解信息之后开始实践

python 复制代码
import requests
import json

# 网页的url
url1 = 'https://piaofang.maoyan.com/dashboard-ajax?orderType=0&uuid=1938b6042b7c8-095c6f731f042e-26011851-1fa400-1938b6042b7c8&timeStamp=1733215970935&User-Agent=TW96aWxsYS81LjAgKFdpbmRvd3MgTlQgMTAuMDsgV2luNjQ7IHg2NCkgQXBwbGVXZWJLaXQvNTM3LjM2IChLSFRNTCwgbGlrZSBHZWNrbykgQ2hyb21lLzEzMS4wLjAuMCBTYWZhcmkvNTM3LjM2&index=713&channelId=40009&sVersion=2&signKey=b9ba8a808c9acc49342231412025a24b'

# 一些UA伪装信息
headers = {
    'cookie': '_lxsdk_cuid=1938b6042b7c8-095c6f731f042e-26011851-1fa400-1938b6042b7c8; _lxsdk=1938b6042b7c8-095c6f731f042e-26011851-1fa400-1938b6042b7c8; _lx_utm=utm_source%3DBaidu%26utm_medium%3Dorganic; _lxsdk_s=1938bb8371a-307-90-43f%7C%7C2',
    'host': 'piaofang.maoyan.com',
    'referer': 'https://piaofang.maoyan.com/dashboard',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36'
}
# 发送请求
response = requests.get(url=url1, headers=headers)
# 设定编码
response.encoding = 'utf-8'
info = response.text
print(info)
# 将上述爬取到的json格式的字符串转成python中的字典进行数据分析
info = json.loads(info)

获取后的信息要经过处理才能清晰的展现。

相关推荐
eggwyw4 分钟前
linux下的C\C++多进程多线程编程实例详解
开发语言·c++
布莱克60513 分钟前
Swift 枚举详解:从基础语法到关联值与模式匹配
开发语言·ios·swift·枚举
__underline__18 分钟前
冷门Python知识点007篇:list[int]不是类,为什么能当基类?
后端·python
Dmz丶23 分钟前
前端转 AI 100 天 Day 49:文档切分——RAG 效果的隐形开关
python
布莱克6051 小时前
Swift 闭包详解:从语法到实战的完整指南
服务器·开发语言·ios·ssh·swift·闭包
青少儿编程课堂1 小时前
第十八届蓝桥杯青少组图形化真题 + 全国青少年信息素养大赛 + 电子学会图形化考级:校园泡泡堂大挑战解析
c++·python·算法·bfs·信息学竞赛
小七在进步2 小时前
string的实现(3)
开发语言·c++·笔记·visual studio
Starry-sky(jing)2 小时前
Hermes Agent 升级 v0.23.2:先辨更新渠道,再看 CLI 退出残留修复
人工智能·python·ai agent
2601_967979122 小时前
“Python,就是新的 BASIC!”
python·编程语言·历史·basic·比较
青少儿编程课堂2 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:Dinic最大流解析
c++·python·算法·bfs·信息学竞赛