爬虫2:web请求与http

1.服务器渲染 :在服务器那边直接把数据和html整合在一起,统一返回给浏览器

2.客户端渲染 :请求网页时候服务器只返回html骨架,客户端再次请求数据时候再返回数据,进行数据展示(在页面源代码中看不到数据)

熟悉使用浏览器抓包工具F12

请求:

请求航:请求方式get/post, 请求url地址,协议

请求头:放一些服务器要使用的附加信息

请求体:一般放一些请求参数

响应:

状态行:协议,状态码 200,404,500,419被发现了,

响应头:放一些客户端要使用的一些附加信息

响应体:服务器返回的真正客户端要用的内容(HTML,json)等

请求头中最常见的一些重要内容(爬虫需要):

  1. user-agent:请求载体的身份标识(用啥发送的骑牛)
  2. Referer:防盗链(这次请求是从哪个页面来的,反爬用到)
  3. cookie:本地字符串数据信息(用户登录信息,反爬的token)
    响应头中一些重要的内容:
    1.cookie:本地字符串数据信息(用户登录信息,反爬的token)
    2.各种神奇的莫名其妙的字符串(这个需要经验了,一般都是token字样,防止各种攻击和反爬)

请求方式:

get: 显式

post:隐式

python 复制代码
"""
下载在reqyests
"""

import requests

# query = input("输")

url = 'https://www.sogou.com/web?query=周杰伦'

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0",
}

resp = requests.get(url, headers=headers,verify=False)

# print(resp)
# print(resp.text)

url = 'https://fanyi.baidu.com/sug'

dat = {
    "kw": 'hello'
}
# 发送post
resp = requests.post(url, data=dat, verify=False)
# print(resp.text)
# 将服务器返回的json字符串转换成字典
# print(resp.json())


# 爬取指定的
url = 'https://movie.douban.com/j/chart/top_list'

# 重新封装参数
param = {
"type": "11",
"interval_id": "100:90",
"action": "",
"start": 0,
"limit": 20,
}

resp = requests.get(url, params=param,headers=headers,verify=False)

print(resp.json())

resp.close() # 访问次数可能被墙,以为和服务器连接数过多,所以需要关闭连接
相关推荐
一斤代码2 小时前
vue3 下载图片(标签内容可转图)
前端·javascript·vue
中微子2 小时前
React Router 源码深度剖析解决面试中的深层次问题
前端·react.js
光影少年2 小时前
从前端转go开发的学习路线
前端·学习·golang
中微子2 小时前
React Router 面试指南:从基础到实战
前端·react.js·前端框架
3Katrina2 小时前
深入理解 useLayoutEffect:解决 UI "闪烁"问题的利器
前端·javascript·面试
前端_学习之路3 小时前
React--Fiber 架构
前端·react.js·架构
伍哥的传说3 小时前
React 实现五子棋人机对战小游戏
前端·javascript·react.js·前端框架·node.js·ecmascript·js
qq_424409194 小时前
uniapp的app项目,某个页面长时间无操作,返回首页
前端·vue.js·uni-app
我在北京coding4 小时前
element el-table渲染二维对象数组
前端·javascript·vue.js
布兰妮甜4 小时前
Vue+ElementUI聊天室开发指南
前端·javascript·vue.js·elementui