Python requests爬虫

Python的requests库是一个强大且易于使用的HTTP库,用于发送HTTP请求和处理响应。它是Python中最受欢迎的网络爬虫框架之一,被广泛用于从网页中提取数据、爬取网站和进行API调用。

使用requests库,你可以轻松地发送各种HTTP请求,包括GET、POST、PUT、DELETE等。你可以创建一个HTTP请求对象,设置请求头、请求体和其他参数,然后发送请求并获取响应。requests库提供了许多方便的方法来处理响应,包括获取响应内容、解析JSON、解析HTML等。

如果本地 Python 环境没有安装 requests,可以在命令提示符窗口输入命令

复制代码
pip install requests

安装 requests 模块

我们可以随便打开一个网页,F12->"Ctrl+R"刷新,双击名称中的项

可以看到User-Agent和Cookie

以下是一些常用的requests库功能和用法:

  1. 发送GET请求:

    复制代码
    response = requests.get(url)
  2. 发送POST请求:

    复制代码
    response = requests.post(url, data=payload)
  3. 设置请求头:

    复制代码
    headers = {'User-Agent': 'Mozilla/5.0'}
    response = requests.get(url, headers=headers)
  4. 传递URL参数:

    复制代码
    params = {'key1': 'value1', 'key2': 'value2'}
    response = requests.get(url, params=params)
  5. 发送文件:

    复制代码
    files = {'file': open('file.txt', 'rb')}
    response = requests.post(url, files=files)
  6. 获取响应内容:

    复制代码
    print(response.text)
  7. 解析JSON响应:

    复制代码
    json_data = response.json()
  8. 解析HTML响应:

    复制代码
    from bs4 import BeautifulSoup
    soup = BeautifulSoup(response.text, 'html.parser')
  9. 处理异常:

    复制代码
    try:
        response = requests.get(url)
        response.raise_for_status()
    except requests.HTTPError as e:
        print('HTTPError:', e)
    except requests.ConnectionError as e:
        print('ConnectionError:', e)
    except requests.Timeout as e:
        print('Timeout:', e)
    except requests.RequestException as e:
        print('RequestException:', e)

以上只是requests库的一小部分功能,它还提供了许多其他高级功能和选项,例如会话管理、认证、代理设置等,可以帮助你轻松地进行网络爬虫和API调用。

完整的请求函数例程:

复制代码
import requests


def get_html(url):
    '''
    两个参数
    :param url:统一资源定位符,请求网址
    :param headers:请求头
    :return html 网页的源码
    :return sess 创建的会话
    '''
    
     # 请求头
    headers={'User-Agent': '复制了放这里'}
    # 创建Session, 并使用Session的get请求网页
    sess = requests.Session()
    response = sess.get(url=url,headers = headers)
    # 获取网页信息文本
    html = response.text

    return html, sess
相关推荐
虾球xz8 分钟前
CppCon 2018 学习:THE MOST VALUABLE VALUES
开发语言·c++·学习
赶紧去巡山24 分钟前
pyhton基础【23】面向对象进阶四
python
旷世奇才李先生1 小时前
PyCharm 安装使用教程
ide·python·pycharm
阿蒙Amon1 小时前
C#扩展方法全解析:给现有类型插上翅膀的魔法
开发语言·c#
这里有鱼汤1 小时前
“对象”?对象你个头!——Python世界观彻底崩塌的一天
后端·python
尘浮7281 小时前
60天python训练计划----day59
开发语言·python
wh39331 小时前
使用Python将PDF转换成word、PPT
python·pdf·word
船长@Quant2 小时前
数学视频动画引擎Python库 -- Manim Voiceover 语音服务 Speech Services
python·数学·manim·动画引擎·语音旁白
Chef_Chen2 小时前
从0开始学习R语言--Day39--Spearman 秩相关
开发语言·学习·r语言
不学会Ⅳ2 小时前
Mac M芯片搭建jdk源码环境(jdk24)
java·开发语言·macos