Python之爬虫入门--示例(2)

一、Requests库安装

可以使用命令提示符指令直接安装requests库使用

python 复制代码
pip install requests

二、爬取JSON数据

(1)、点击网络

(2)、刷新网页

(3)、这里有一些数据类型,选择全部

(4)、必须了解信息

三、了解信息之后开始实践

python 复制代码
import requests
import json

# 网页的url
url1 = 'https://piaofang.maoyan.com/dashboard-ajax?orderType=0&uuid=1938b6042b7c8-095c6f731f042e-26011851-1fa400-1938b6042b7c8&timeStamp=1733215970935&User-Agent=TW96aWxsYS81LjAgKFdpbmRvd3MgTlQgMTAuMDsgV2luNjQ7IHg2NCkgQXBwbGVXZWJLaXQvNTM3LjM2IChLSFRNTCwgbGlrZSBHZWNrbykgQ2hyb21lLzEzMS4wLjAuMCBTYWZhcmkvNTM3LjM2&index=713&channelId=40009&sVersion=2&signKey=b9ba8a808c9acc49342231412025a24b'

# 一些UA伪装信息
headers = {
    'cookie': '_lxsdk_cuid=1938b6042b7c8-095c6f731f042e-26011851-1fa400-1938b6042b7c8; _lxsdk=1938b6042b7c8-095c6f731f042e-26011851-1fa400-1938b6042b7c8; _lx_utm=utm_source%3DBaidu%26utm_medium%3Dorganic; _lxsdk_s=1938bb8371a-307-90-43f%7C%7C2',
    'host': 'piaofang.maoyan.com',
    'referer': 'https://piaofang.maoyan.com/dashboard',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36'
}
# 发送请求
response = requests.get(url=url1, headers=headers)
# 设定编码
response.encoding = 'utf-8'
info = response.text
print(info)
# 将上述爬取到的json格式的字符串转成python中的字典进行数据分析
info = json.loads(info)

获取后的信息要经过处理才能清晰的展现。

相关推荐
望获linux34 分钟前
【Linux基础知识系列】第四十三篇 - 基础正则表达式与 grep/sed
linux·运维·服务器·开发语言·前端·操作系统·嵌入式软件
ahead~38 分钟前
【大模型入门】访问GPT_API实战案例
人工智能·python·gpt·大语言模型llm
留不住丨晚霞1 小时前
说说SpringBoot常用的注解?
java·开发语言
大模型真好玩1 小时前
准确率飙升!GraphRAG如何利用知识图谱提升RAG答案质量(额外篇)——大规模文本数据下GraphRAG实战
人工智能·python·mcp
19891 小时前
【零基础学AI】第30讲:生成对抗网络(GAN)实战 - 手写数字生成
人工智能·python·深度学习·神经网络·机器学习·生成对抗网络·近邻算法
华科云商xiao徐1 小时前
Java多线程爬虫动态线程管理实现
java·爬虫·数据挖掘
hardStudy_h1 小时前
C++——内联函数与Lambda表达式
开发语言·jvm·c++
华科云商xiao徐1 小时前
高性能小型爬虫语言与代码示例
前端·爬虫
applebomb2 小时前
没合适的组合wheel包,就自行编译flash_attn吧
python·ubuntu·attention·flash
艾莉丝努力练剑2 小时前
【C语言】学习过程教训与经验杂谈:思想准备、知识回顾(三)
c语言·开发语言·数据结构·学习·算法