爬虫2:web请求与http

1.服务器渲染 :在服务器那边直接把数据和html整合在一起,统一返回给浏览器

2.客户端渲染 :请求网页时候服务器只返回html骨架,客户端再次请求数据时候再返回数据,进行数据展示(在页面源代码中看不到数据)

熟悉使用浏览器抓包工具F12

请求:

请求航:请求方式get/post, 请求url地址,协议

请求头:放一些服务器要使用的附加信息

请求体:一般放一些请求参数

响应:

状态行:协议,状态码 200,404,500,419被发现了,

响应头:放一些客户端要使用的一些附加信息

响应体:服务器返回的真正客户端要用的内容(HTML,json)等

请求头中最常见的一些重要内容(爬虫需要):

  1. user-agent:请求载体的身份标识(用啥发送的骑牛)
  2. Referer:防盗链(这次请求是从哪个页面来的,反爬用到)
  3. cookie:本地字符串数据信息(用户登录信息,反爬的token)
    响应头中一些重要的内容:
    1.cookie:本地字符串数据信息(用户登录信息,反爬的token)
    2.各种神奇的莫名其妙的字符串(这个需要经验了,一般都是token字样,防止各种攻击和反爬)

请求方式:

get: 显式

post:隐式

python 复制代码
"""
下载在reqyests
"""

import requests

# query = input("输")

url = 'https://www.sogou.com/web?query=周杰伦'

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0",
}

resp = requests.get(url, headers=headers,verify=False)

# print(resp)
# print(resp.text)

url = 'https://fanyi.baidu.com/sug'

dat = {
    "kw": 'hello'
}
# 发送post
resp = requests.post(url, data=dat, verify=False)
# print(resp.text)
# 将服务器返回的json字符串转换成字典
# print(resp.json())


# 爬取指定的
url = 'https://movie.douban.com/j/chart/top_list'

# 重新封装参数
param = {
"type": "11",
"interval_id": "100:90",
"action": "",
"start": 0,
"limit": 20,
}

resp = requests.get(url, params=param,headers=headers,verify=False)

print(resp.json())

resp.close() # 访问次数可能被墙,以为和服务器连接数过多,所以需要关闭连接
相关推荐
Liamhuo19 分钟前
2.1.7 network-浏览器-前端浏览器数据存储
前端·浏览器
洋葱头_20 分钟前
vue3项目不支持低版本的android,如何做兼容
前端·vue.js
前端小书生29 分钟前
React 组件渲染
前端·react.js
sjd_积跬步至千里35 分钟前
CSS实现文字横向无限滚动效果
前端
维他AD钙36 分钟前
前端基础避坑:3 个实用知识点的简单用法
前端
journs37 分钟前
micro-app微前端styled-components CSSOM模式 应用切换样式丢失问题
前端
呼啦啦小魔仙38 分钟前
elpis项目DSL设计分享
前端
李李记39 分钟前
别让 “断字” 毁了 Canvas 界面!splitByGrapheme 轻松搞定非拉丁文本换行
前端·canvas
来金德瑞39 分钟前
快速掌握 ProseMirror 的核心概念
前端
ygria43 分钟前
样式工程化:如何实现Design System
前端·前端框架·前端工程化