高效Python爬虫:多进程与异步抓取思路

目录

  1. 🔹 多进程
    • 使用场景
    • 进程池应用
    • 多进程有序抓取
    • 多进程无序抓取
    • 多进程爬虫操作实践
  2. 🔹 异步抓取
    • 异步阻塞和非阻塞
    • 异步抓取应用场景
    • 异步关键字和aiohttp
    • 异步抓取百万数据思路

多进程

🔹 多进程使用场景

多进程适用于CPU密集型任务,例如数据处理、复杂计算等。对于爬虫来说,当网络I/O操作较多时,多进程可以有效提高抓取速度。


🔹 进程池应用

使用multiprocessing库的Pool类来管理进程池,提高资源利用率。

python 复制代码
from multiprocessing import Pool
import os

def worker(num):
    print(f"Worker {num} in process {os.getpid()}")

if __name__ == "__main__":
    with Pool(4) as pool:
        pool.map(worker, range(10))

🔹 在这个示例中,我们创建了一个包含4个进程的进程池,并使用map方法将任务分配给进程池中的进程。


🔹 多进程有序抓取

有序抓取确保抓取结果按照任务分配顺序返回。

python 复制代码
from multiprocessing import Pool
import requests

def fetch(url):
    response = requests.get(url)
    return response.text

if __name__ == "__main__":
    urls = ['http://example.com/page1', 'http://example.com/page2', 'http://example.com/page3']
    with Pool(4) as pool:
        results = pool.map(fetch, urls)
    for content in results:
        print(content[:100])

🔹 使用map方法保证结果按顺序返回。


🔹 多进程无序抓取

无序抓取不保证任务结果的返回顺序。

python 复制代码
from multiprocessing import Pool
import requests

def fetch(url):
    response = requests.get(url)
    return response.text

if __name__ == "__main__":
    urls = ['http://example.com/page1', 'http://example.com/page2', 'http://example.com/page3']
    with Pool(4) as pool:
        results = pool.imap_unordered(fetch, urls)
    for content in results:
        print(content[:100])

🔹 使用imap_unordered方法不保证返回顺序。


🔹 多进程爬虫操作实践

综合应用多进程技术进行爬虫操作。

python 复制代码
from multiprocessing import Pool
import requests
from bs4 import BeautifulSoup

def fetch(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    return soup.title.string

if __name__ == "__main__":
    urls = ['http://example.com/page1', 'http://example.com/page2', 'http://example.com/page3']
    with Pool(4) as pool:
        titles = pool.map(fetch, urls)
    for title in titles:
        print(title)

🔹 在这个示例中,我们使用多进程并行抓取网页数据,并提取每个网页的标题。


异步抓取

🔹 异步阻塞和非阻塞

异步编程可以显著提高I/O密集型任务的性能。阻塞意味着等待操作完成,非阻塞则立即返回继续执行。

python 复制代码
import asyncio

async def main():
    print('Hello ...')
    await asyncio.sleep(1)
    print('... World!')

asyncio.run(main())

🔹 这个简单示例展示了如何使用异步编程等待1秒钟。


🔹 异步抓取应用场景

异步适用于大量网络I/O操作,例如大规模网页抓取。


🔹 异步关键字和aiohttp

使用asyncawait关键字与aiohttp库进行异步抓取。

python 复制代码
import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = ['http://example.com/page1', 'http://example.com/page2', 'http://example.com/page3']
    async with aiohttp.ClientSession() as session:
        tasks = [fetch(session, url) for url in urls]
        results = await asyncio.gather(*tasks)
    for content in results:
        print(content[:100])

asyncio.run(main())

🔹 使用aiohttp进行异步HTTP请求,可以显著提高抓取速度。


🔹 异步抓取百万数据思路

抓取大量数据时,可以分批次进行,提高稳定性。

python 复制代码
import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def batch_fetch(urls):
    async with aiohttp.ClientSession() as session:
        tasks = [fetch(session, url) for url in urls]
        return await asyncio.gather(*tasks)

async def main():
    base_url = 'http://example.com/page'
    all_urls = [f"{base_url}{i}" for i in range(1, 1000001)]
    batch_size = 1000
    for i in range(0, len(all_urls), batch_size):
        batch_urls = all_urls[i:i + batch_size]
        results = await batch_fetch(batch_urls)
        for content in results:
            print(content[:100])

asyncio.run(main())

🔹 通过分批次抓取,我们可以更高效、更稳定地处理大量数据抓取任务。


总结

🔹 通过本次学习,我们深入了解了多进程和异步编程在Python爬虫中的应用,包括多进程的使用场景、进程池应用、有序与无序抓取、多进程爬虫操作实践,以及异步编程的阻塞与非阻塞、异步抓取应用场景、关键字和aiohttp库的使用,以及异步抓取百万数据的思路。

🔹 掌握这些技术后,我们可以更高效地进行大规模网页数据抓取,为数据分析和处理提供坚实的基础。希望这些内容能够帮助大家更好地理解和应用多进程与异步编程,提高爬虫抓取效率!🚀

相关推荐
im_AMBER15 分钟前
学习日志05 python
python·学习
大虫小呓20 分钟前
Python 处理 Excel 数据 pandas 和 openpyxl 哪家强?
python·pandas
哪 吒32 分钟前
2025B卷 - 华为OD机试七日集训第5期 - 按算法分类,由易到难,循序渐进,玩转OD(Python/JS/C/C++)
python·算法·华为od·华为od机试·2025b卷
-凌凌漆-35 分钟前
【Qt】QStringLiteral 介绍
开发语言·qt
程序员爱钓鱼35 分钟前
Go语言项目工程化 — 常见开发工具与 CI/CD 支持
开发语言·后端·golang·gin
军训猫猫头1 小时前
1.如何对多个控件进行高效的绑定 C#例子 WPF例子
开发语言·算法·c#·.net
真的想上岸啊1 小时前
学习C++、QT---18(C++ 记事本项目的stylesheet)
开发语言·c++·学习
明天好,会的2 小时前
跨平台ZeroMQ:在Rust中使用zmq库的完整指南
开发语言·后端·rust
摸爬滚打李上进2 小时前
重生学AI第十六集:线性层nn.Linear
人工智能·pytorch·python·神经网络·机器学习
CodeWithMe2 小时前
【Note】《深入理解Linux内核》 Chapter 15 :深入理解 Linux 页缓存
linux·spring·缓存