爬虫2:web请求与http

1.服务器渲染 :在服务器那边直接把数据和html整合在一起,统一返回给浏览器

2.客户端渲染 :请求网页时候服务器只返回html骨架,客户端再次请求数据时候再返回数据,进行数据展示(在页面源代码中看不到数据)

熟悉使用浏览器抓包工具F12

请求:

请求航:请求方式get/post, 请求url地址,协议

请求头:放一些服务器要使用的附加信息

请求体:一般放一些请求参数

响应:

状态行:协议,状态码 200,404,500,419被发现了,

响应头:放一些客户端要使用的一些附加信息

响应体:服务器返回的真正客户端要用的内容(HTML,json)等

请求头中最常见的一些重要内容(爬虫需要):

  1. user-agent:请求载体的身份标识(用啥发送的骑牛)
  2. Referer:防盗链(这次请求是从哪个页面来的,反爬用到)
  3. cookie:本地字符串数据信息(用户登录信息,反爬的token)
    响应头中一些重要的内容:
    1.cookie:本地字符串数据信息(用户登录信息,反爬的token)
    2.各种神奇的莫名其妙的字符串(这个需要经验了,一般都是token字样,防止各种攻击和反爬)

请求方式:

get: 显式

post:隐式

python 复制代码
"""
下载在reqyests
"""

import requests

# query = input("输")

url = 'https://www.sogou.com/web?query=周杰伦'

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0",
}

resp = requests.get(url, headers=headers,verify=False)

# print(resp)
# print(resp.text)

url = 'https://fanyi.baidu.com/sug'

dat = {
    "kw": 'hello'
}
# 发送post
resp = requests.post(url, data=dat, verify=False)
# print(resp.text)
# 将服务器返回的json字符串转换成字典
# print(resp.json())


# 爬取指定的
url = 'https://movie.douban.com/j/chart/top_list'

# 重新封装参数
param = {
"type": "11",
"interval_id": "100:90",
"action": "",
"start": 0,
"limit": 20,
}

resp = requests.get(url, params=param,headers=headers,verify=False)

print(resp.json())

resp.close() # 访问次数可能被墙,以为和服务器连接数过多,所以需要关闭连接
相关推荐
姜太小白几秒前
【ECharts】多个ECharts版本共存解决方案
前端·javascript·echarts
花木偶13 分钟前
【郑大二年级信安小学期】Day9:XSS跨站攻击&XSS绕过&CSRF漏洞&SSRF漏洞
前端·xss
FogLetter14 分钟前
节流(Throttle):给频繁触发的事件装上"冷却时间"
前端·javascript
小公主16 分钟前
彻底搞懂 Event Loop!这篇文章帮你一次性吃透宏任务、微任务、执行顺序
前端·javascript
xiaominlaopodaren20 分钟前
爱心动画的数学之美:从心形曲线到粒子系统
前端
AI悦创Python辅导36 分钟前
如何挑选适合项目场景的数据分析工具?
前端
用户92724725021939 分钟前
新闻自动采集并通过API发布到博客
前端·后端
清风920043 分钟前
Logback——日志技术(基础)
java·前端·logback
EndingCoder43 分钟前
排序算法与前端交互优化
开发语言·前端·javascript·算法·排序算法·交互
三月的一天1 小时前
在 React Three Fiber 中实现 3D 模型点击扩散波效果
前端·react.js·前端框架