Python编程异步爬虫——协程的基本原理

Bruce_Liuxiaowei2024-03-24 14:18

Python编程之异步爬虫

协程的基本原理

要实现异步机制的爬虫，自然和协程脱不了关系。

  1. 案例引入

先看一个案例网站，地址为https://www.httpbin.org/delay/5，访问这个链接需要先等5秒钟才能得到结果，这是因为服务器强制等待5秒时间才返回响应。下面来测试一下，用requests写一个遍历程序，直接遍历100次案例网站，看看效果，代码如下：

python 复制代码 
import requests
import logging
import time

logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s:%(message)s')

TOTAL_NUMBER = 100
URL = 'https://www.httpbin.org/delay/5'
start_time = time.time()
for _ in range(1, TOTAL_NUMBER + 1):
    logging.info('scraping %s', URL)
    response = requests.get(URL)

end_time = time.time()
logging.info('total time %s seconds', end_time - start_time)

使用的是requests单线程，在爬取之前和爬取之后分别记录了时间，最后输出了爬取100个页面消耗的总时间。运行结果如下：

2024-03-23 18:45:12,159 - INFO:scraping https://www.httpbin.org/delay/5

2024-03-23 18:45:18,693 - INFO:scraping https://www.httpbin.org/delay/5

2024-03-23 18:45:24,865 - INFO:scraping https://www.httpbin.org/delay/5

2024-03-23 18:45:30,957 - INFO:scraping https://www.httpbin.org/delay/5

2024-03-23 18:45:37,544 - INFO:scraping https://www.httpbin.org/delay/5

....

....

2024-03-23 18:55:19,929 - INFO:scraping https://www.httpbin.org/delay/5

2024-03-23 18:55:26,069 - INFO:scraping https://www.httpbin.org/delay/5

2024-03-23 18:55:32,186 - INFO:total time 620.0276908874512 seconds

由于每个页面至少等待5秒钟，100个页面至少花费500秒，加上网站本身负载问题，总时间大约620秒，10分钟多。

  1. 基础知识

协程的基础概念

1. 阻塞和非阻塞：

  • 阻塞：当一个任务执行时，如果需要等待某个操作完成才能继续执行，这个任务就会被阻塞。在阻塞状态下，任务无法执行其他操作。
  • 非阻塞：相对于阻塞，非阻塞任务在等待某个操作完成时，可以继续执行其他操作。

2. 同步和异步：

  • 同步：指的是程序按照代码顺序依次执行，一个操作完成之后才会进行下一个操作。
  • 异步：异步编程允许程序在等待某个操作的同时继续执行其他操作，操作完成后通过回调或者事件通知来处理结果。

3. 多进程和协程：

  • 多进程：每个进程有自己独立的内存空间，系统为每个进程分配资源，进程间通信开销较大。
  • 协程：协程（coroutine）是一种轻量级的线程，可以看作是在同一个线程内部进行切换执行不同任务，共享同一个进程的资源，更高效利用 CPU 和内存。

协程的特点：

  • 轻量级： 协程不需要像线程那样创建新的进程或者线程，因此比多线程的切换开销更小。
  • 灵活性： 协程可以根据需要暂停和恢复执行，可以实现任务的合理调度。
  • 高效性： 由于不需要进行系统调用、进程/线程切换，协程可以更高效地利用计算资源。

在 Python 中，使用 asyncio 库可以实现协程。通过 async 和 await 关键字可以定义异步函数和阻塞点，在适当的时机挂起和恢复函数的执行。

协程的优点在于它们可以解决异步编程中的并发性问题，并且能够提供更好的性能和资源利用率。通过合理地使用协程，可以实现高效的并发编程，尤其在 I/O 密集型应用中表现突出。

  1. 协程的用法

    在 Python 中，可以使用 asyncio 库来实现协程。以下是协程的基本用法示例：

    1. 定义一个异步函数

    使用 async def 关键字定义一个异步函数，该函数可以包含 await 表达式来挂起执行。

    python 复制代码 
    import asyncio

async def greet():
    print("Hello")
    await asyncio.sleep(1)
    print("World")

    b. 运行协程任务

    使用 asyncio.run() 函数来运行协程任务，并且保证事件循环的创建和销毁。

    python 复制代码 
    asyncio.run(greet())

    c. 创建并发任务

    使用 asyncio.create_task() 函数创建多个并发任务，让它们同时运行。

    python 复制代码 
    async def task1():
    print("Task 1 start")
    await asyncio.sleep(2)
    print("Task 1 end")

async def task2():
    print("Task 2 start")
    await asyncio.sleep(1)
    print("Task 2 end")

async def main():
    taskA = asyncio.create_task(task1())
    taskB = asyncio.create_task(task2())
    await taskA
    await taskB

asyncio.run(main())

    d. 并发等待多个任务完成

    使用 asyncio.gather() 函数等待多个任务完成后再继续执行。

    python 复制代码 
    async def main():
    tasks = [task1(), task2()]
    await asyncio.gather(*tasks)

asyncio.run(main())

    e. 异步IO操作

    在协程中可以进行异步的IO操作，例如网络请求、文件读写等操作，以提高应用程序的性能和效率。

    通过上述示例，您可以了解到如何定义、运行和管理协程，以及如何利用协程来处理并发任务和异步IO操作。在实际应用中，协程可以帮助降低资源消耗，提高程序响应性，并简化复杂的并发编程任务。

  2. 定义协程

    python 复制代码 
    import asyncio

async def execute(x):
    print('Number:', x)

coroutine = execute(1)
print('Coroutine:', coroutine)
print('After calling excute')

loop = asyncio.get_event_loop()
loop.run_until_complete(coroutine)
print('After calling loop')

运行结果如下：
Coroutine: <coroutine object execute at 0x10f5b37c0>
After calling excute
Number: 1
After calling loop

    导入asyncio包，这样才可以使用async和await关键字。然后使用async定义一个execute方法，该方法接收一个数字参数x，执行之后会打印这个数字。

    随后直接执行execute方法，然而这个方法没有执行，而是返回了一个coroutine协程对象。之后我们使用了get_event_loop方法创建了一个事件循环loop，调用loop对象的run_until_complete方法将协程对象注册到了事件循环中，接着启动。可见，async定义的方法会变成一个无法直接执行的协程对象，必须将此对象注册到事件循环中才可以执行。

    当我们把协程对象coroutine传递给run_until_complete方法的时候，实际上它进行了一个操作，就是将coroutine封装成task对象。显示声明，代码如下：

    python 复制代码 
    import asyncio

async def execute(x):
    print('Number:', x)
    return x

coroutine = execute(1)
print('Coroutine:', coroutine)
print('After calling execute')

loop = asyncio.get_event_loop()
task = loop.create_task(coroutine)
print('Task:',task)
loop.run_until_complete(task)
print('Task:', task)
print('After calling loop')

运行结果如下：
Coroutine: <coroutine object execute at 0x10faf37c0>
After calling execute
Task: <Task pending name='Task-1' coro=<execute() running at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/协程用法4.py:3>>
Number: 1
Task: <Task finished name='Task-1' coro=<execute() done, defined at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/协程用法4.py:3> result=1>
After calling loop

    定义task对象还有另外一种方法，就是直接调用asyncio包的ensure_future方法，返回结果也是task对象，写法如下：

    python 复制代码 
    import asyncio

async def execute(x):
    print('Number:', x)
    return x

coroutine = execute(1)
print('Coroutine:', coroutine)
print('After calling execute')

task = asyncio.ensure_future(coroutine)
print('Task:', task)
loop = asyncio.get_event_loop()
loop.run_until_complete(task)
print('Task:', task)
print('After calling loop')

运行结果如下：
Coroutine: <coroutine object execute at 0x10c3737c0>
After calling execute
Task: <Task pending name='Task-1' coro=<execute() running at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/协程用法5.py:3>>
Number: 1
Task: <Task finished name='Task-1' coro=<execute() done, defined at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/协程用法5.py:3> result=1>
After calling loop

  3. 绑定回调

    为某个task对象绑定一个回调方法，如下所示：

    python 复制代码 
    import asyncio
import requests

async def request():
    url = 'https://www.baidu.com'
    status = requests.get(url)
    return status

def callback(task):
    print('Status:', task.result())

coroutine = request()
task = asyncio.ensure_future(coroutine)
task.add_done_callback(callback)
print('Task:', task)

loop = asyncio.get_event_loop()
loop.run_until_complete(task)
print('Task:', task)

    定义了request方法，在这个方法里请求了百度，并获取了其状态码，随后我们定义了callback方法，这个方法接收一个参数，参数是task对象，在这个方法中调用print方法打印出task对象的结果。这样就定义好了一个协程对象和一个回调方法，我们希望达到的效果是，当协程对象执行完毕后，就去执行声明的callback方法。如何关联的呢？只要调用add_done_callback方法就行。将callback方法传递给封装好的task对象。这样当task执行完之后，就可以调用callback方法了。同时task对象还会作为参数传递给callback方法，调用task对象的result方法就可以获取返回结果了。运行结果如下：

    python 复制代码 
    Task: <Task pending name='Task-1' coro=<request() running at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/绑定回调.py:4> cb=[callback() at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/绑定回调.py:9]>
status: <Response [200]>
task: <Task finished name='Task-1' coro=<request() done, defined at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/绑定回调.py:4> result=<Response [200]>>

    实际上，即使不使用回调方法，在task运行完毕后，也可以直接调用result方法获取结果，代码如下：

    python 复制代码 
    import asyncio
import requests

async def request():
    url = 'https://www.baidu.com'
    status = requests.get(url)
    return status

coroutine = request()
task = asyncio.ensure_future(coroutine)
print('Task:', task)

loop = asyncio.get_event_loop()
loop.run_until_complete(task)
print('Task:', task)
print('Task Result:', task.result())

运行结果如下：
Task: <Task pending name='Task-1' coro=<request() running at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/绑定回调1.py:5>>
Task: <Task finished name='Task-1' coro=<request() done, defined at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/绑定回调1.py:5> result=<Response [200]>>
Task Result: <Response [200]>

  4. 多任务协程

    如果想执行多次请求，应该怎么办？可以定义一个task列表，然后使用asyncio包中的wait方法执行，如下所示：

    python 复制代码 
    import asyncio
import requests

async def request():
    url = 'https://www.baidu.com'
    status = requests.get(url)
    return status

tasks = [asyncio.ensure_future(request()) for _ in range(5)]
print('Tasks:', tasks)

loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

for task in tasks:
    print('Task Result:', task.result())

运行结果如下：
Tasks: [<Task pending name='Task-1' coro=<request() running at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/多任务协程.py:5>>, <Task pending name='Task-2' coro=<request() running at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/多任务协程.py:5>>, <Task pending name='Task-3' coro=<request() running at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/多任务协程.py:5>>, <Task pending name='Task-4' coro=<request() running at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/多任务协程.py:5>>, <Task pending name='Task-5' coro=<request() running at /Users/bruce_liu/PycharmProjects/崔庆才--爬虫/第6章异步爬虫/多任务协程.py:5>>]
Task Result: <Response [200]>
Task Result: <Response [200]>
Task Result: <Response [200]>
Task Result: <Response [200]>
Task Result: <Response [200]>

  5. 协程实现

    协程在解决IO密集型任务方面的优势，耗时等待一般都是IO操作，例如文件读取、网络请求等。协程在处理这种操作时是有很大优势的，当遇到需要等待的情况时，程序可以暂时挂起，转而执行其他操作，避免浪费时间。

    以https://www.httpbin.org/delay/5为例，体验一下协程的效果。示例代码如下：

    python 复制代码 
    import asyncio
import requests
import time

start = time.time()

async def request():
    url = 'https://www.httpbin.org/delay/5'
    print('waiting for', url)
    response = requests.get(url)
    print('Get response from', url, 'response', response)

tasks = [asyncio.ensure_future(request()) for _ in range(10)]
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

end = time.time()
print('Cost time:', end - start)

运行结果如下：
waiting for https://www.httpbin.org/delay/5
Get response from https://www.httpbin.org/delay/5 response <Response [200]>
waiting for https://www.httpbin.org/delay/5
Get response from https://www.httpbin.org/delay/5 response <Response [200]>
waiting for https://www.httpbin.org/delay/5
Get response from https://www.httpbin.org/delay/5 response <Response [200]>
...
waiting for https://www.httpbin.org/delay/5
Get response from https://www.httpbin.org/delay/5 response <Response [200]>
waiting for https://www.httpbin.org/delay/5
Get response from https://www.httpbin.org/delay/5 response <Response [200]>
waiting for https://www.httpbin.org/delay/5
Get response from https://www.httpbin.org/delay/5 response <Response [200]>
Cost time: 63.61974787712097

    可以发现，与正常的顺序请求没有啥区别。那么异步处理的优势呢？要实现异步处理，先得有挂起操作，当一个任务需要等待IO结果的时候，可以挂起当前任务，转而执行其他任务，这样才能充分利用好资源。

  6. 使用aiohttp

    aiohttp是一个支持异步请求的库，它和asyncio配合使用，可以使我们非常方便地实现异步请求操作。

    aiohttp分为两部分：一部分是Client，一部分是Server。

    下面我们将aiohttp投入使用，将代码改成如下：

    python 复制代码 
    import asyncio
import aiohttp
import time

start = time.time()

async def get(url):
    session = aiohttp.ClientSession()
    response = await session.get(url)
    await response.text()
    await session.close()
    return response

async def request():
    url = 'https://www.httpbin.org/delay/5'
    print('Waiting for', url)
    response = await get(url)
    print('Get response from', url, 'response', response)

tasks = [asyncio.ensure_future(request()) for _ in range(10)]
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

end = time.time()
print('Cost time:', end - start)

运行结果如下：
Waiting for https://www.httpbin.org/delay/5
Waiting for https://www.httpbin.org/delay/5
Waiting for https://www.httpbin.org/delay/5
Waiting for https://www.httpbin.org/delay/5
Waiting for https://www.httpbin.org/delay/5
Waiting for https://www.httpbin.org/delay/5
...
Get response from https://www.httpbin.org/delay/5 response <ClientResponse(https://www.httpbin.org/delay/5) [200 OK]>
<CIMultiDictProxy('Date': 'Sat, 23 Mar 2024 13:42:05 GMT', 'Content-Type': 'application/json', 'Content-Length': '367', 'Connection': 'keep-alive', 'Server': 'gunicorn/19.9.0', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true')>

Get response from https://www.httpbin.org/delay/5 response <ClientResponse(https://www.httpbin.org/delay/5) [200 OK]>
<CIMultiDictProxy('Date': 'Sat, 23 Mar 2024 13:42:05 GMT', 'Content-Type': 'application/json', 'Content-Length': '367', 'Connection': 'keep-alive', 'Server': 'gunicorn/19.9.0', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true')>
...
Get response from https://www.httpbin.org/delay/5 response <ClientResponse(https://www.httpbin.org/delay/5) [200 OK]>
<CIMultiDictProxy('Date': 'Sat, 23 Mar 2024 13:42:05 GMT', 'Content-Type': 'application/json', 'Content-Length': '367', 'Connection': 'keep-alive', 'Server': 'gunicorn/19.9.0', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true')>

Get response from https://www.httpbin.org/delay/5 response <ClientResponse(https://www.httpbin.org/delay/5) [200 OK]>
<CIMultiDictProxy('Date': 'Sat, 23 Mar 2024 13:42:05 GMT', 'Content-Type': 'application/json', 'Content-Length': '367', 'Connection': 'keep-alive', 'Server': 'gunicorn/19.9.0', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true')>

Cost time: 6.868626832962036

    这里将请求库由requests改成了aiohttp，利用aiohttp库里ClientSession类的get方法进行请求。

    测试一下并发量分别为1、3、5、10、....、500时的耗时情况，代码如下：

    python 复制代码 
    import asyncio
import aiohttp
import time

def test(number):
    start = time.time()

    async def get(url):
        session = aiohttp.ClientSession()
        response = await session.get(url)
        await response.text()
        await session.close()
        return response

    async def request():
        url = 'https://www.baidu.com/'
        await get(url)

    tasks = [asyncio.ensure_future(request()) for _ in range(number)]
    loop = asyncio.get_event_loop()
    loop.run_until_complete(asyncio.wait(tasks))

    end = time.time()
    print('Number:', number, 'Cost time:', end - start)

for number in [1, 3, 5, 10, 15, 30, 50, 75, 100, 200, 500]:
    test(number)
    
 运行结果如下：
Number: 1 Cost time: 0.23929095268249512
Number: 3 Cost time: 0.19086170196533203
Number: 5 Cost time: 0.20035600662231445
Number: 10 Cost time: 0.21305394172668457
Number: 15 Cost time: 0.25495195388793945
Number: 30 Cost time: 0.769071102142334
Number: 50 Cost time: 0.3470029830932617
Number: 75 Cost time: 0.4492309093475342
Number: 100 Cost time: 0.586918830871582
Number: 200 Cost time: 1.0910720825195312
Number: 500 Cost time: 2.4768006801605225
相关推荐
喜欢猪猪4 分钟前
Java技术专家视角解读：SQL优化与批处理在大数据处理中的应用及原理
android·python·adb
海绵波波1076 分钟前
flask后端开发（1）：第一个Flask项目
后端·python·flask
林的快手11 分钟前
209.长度最小的子数组
java·数据结构·数据库·python·算法·leetcode
从以前26 分钟前
准备考试：解决大学入学考试问题
数据结构·python·算法
Ven%42 分钟前
如何修改pip全局缓存位置和全局安装包存放路径
人工智能·python·深度学习·缓存·自然语言处理·pip
枫欢44 分钟前
将现有环境192.168.1.100中的svn迁移至新服务器192.168.1.4；
服务器·python·svn
HEU_firejef44 分钟前
Redis——缓存预热+缓存雪崩+缓存击穿+缓存穿透
数据库·redis·缓存
测试杂货铺1 小时前
UI自动化测试实战实例
自动化测试·软件测试·python·selenium·测试工具·测试用例·pytest
KELLENSHAW2 小时前
MySQL45讲 第三十七讲 什么时候会使用内部临时表？——阅读总结
数据库·mysql
余~~185381628002 小时前
NFC 碰一碰发视频源码搭建技术详解，支持OEM
开发语言·人工智能·python·音视频
热门推荐
0119个Web前端交互式3D JavaScript框架和库02ARM学习（31）编译器对overlay方式的支持03玄机平台应急响应—webshell查杀04RAG 实践- Ollama+RagFlow 部署本地知识库05【一文读懂】NTN（非地面网络）技术介绍06(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明07Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO08组基轨迹建模 GBTM的介绍与实现（Stata 或 R）09Docker 夺命连环 15 问10大模型国产化适配7-华为昇腾LLM落地可选解决方案（MindFormers、ModelLink、MindIE）