Python爬虫IP代理池的建立和使用

写在前面

建立Python爬虫IP代理池可以提高爬虫的稳定性和效率,可以有效避免IP被封锁或限制访问等问题。

下面是建立Python爬虫IP代理池的详细步骤和代码实现:

1. 获取代理IP

我们可以从一些代理IP网站上获取免费或付费的代理IP,或者自己租用代理IP服务。这里我们以站大爷代理为例,获取前10页的HTTP代理IP地址。

python 复制代码
import requests
from scrapy.selector import Selector

def get_proxy_ips():
    proxy_ips = []
    for i in range(1, 11):
        url = 'https://www.zdaye.com/free/'.format(i)
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
        res = requests.get(url, headers=headers)
        selector = Selector(text=res.text)
        trs = selector.css('#ip_list tr')
        for tr in trs[1:]:
            ip = tr.css('td:nth-child(2)::text').extract_first()
            port = tr.css('td:nth-child(3)::text').extract_first()
            proxy_ips.append('{}:{}'.format(ip, port))
    return proxy_ips
2. 检测代理IP的可用性

获取到代理IP后,需要对其进行可用性的检测,筛选出可用性较高的IP地址。这里我们测试以百度为目标网站检测HTTP代理IP地址的可用性,如果响应码为200,则表明该IP地址可用。

python 复制代码
import requests

def check_proxy_ip(ip):
    url = 'http://www.baidu.com'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    proxies = {'http': 'http://' + ip, 'https': 'https://' + ip}
    try:
        res = requests.get(url, headers=headers, proxies=proxies, timeout=10)
        if res.status_code == 200:
            return True
        else:
            return False
    except:
        return False
3. 将可用的代理IP存储到池中

将可用的代理IP存储到一个IP池中,根据需要可以设置IP池的容量和存储时间。这里我们将可用的IP地址存储到redis数据库中。

python 复制代码
import redis

def save_proxy_ips():
    proxy_ips = get_proxy_ips()
    pool = redis.ConnectionPool(host='localhost', port=6379, db=0)
    r = redis.Redis(connection_pool=pool)
    for ip in proxy_ips:
        if check_proxy_ip(ip):
            r.sadd('proxy_ip_pool', ip)
4. 在爬虫程序中使用代理IP池

在爬虫程序中设置代理IP池,并在请求时随机选择一个可用的代理IP地址进行访问。这里我们使用requests库和random模块实现。

python 复制代码
import requests
import redis
import random

def get_my_ip():
    url = 'http://httpbin.org/ip'
    res = requests.get(url)
    return res.json()['origin']

def get_random_proxy():
    pool = redis.ConnectionPool(host='localhost', port=6379, db=0)
    r = redis.Redis(connection_pool=pool)
    ip = r.srandmember('proxy_ip_pool')
    return ip.decode('utf-8')

# 随机选择代理IP进行访问
def crawl(url):
    proxy = {'http': 'http://'+get_random_proxy(), 'https': 'https://'+get_random_proxy()}
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    try:
        res = requests.get(url, headers=headers, proxies=proxy, timeout=10)
        if res.status_code == 200:
            return res.text
        else:
            return None
    except:
        return None
总结

需要注意的是,代理IP池的建立和使用需要注意IP的有效性和时效性,及时更新池中的IP地址,以保证代理IP的可用性。同时,在使用代理IP时需要遵守相关法律法规和网站的使用协议,不得用于非法活动。

相关推荐
Kyln.Wu2 分钟前
【python实用小脚本-211】[硬件互联] 桌面壁纸×Python梦幻联动|用10行代码实现“开机盲盒”自动化改造实录(建议收藏)
开发语言·python·自动化
Ms_Big34 分钟前
ppliteseg改rknn,部署在嵌入式板,加速模型
人工智能·python·深度学习
折翼的恶魔1 小时前
数据分析:合并
python·数据分析·pandas
百锦再2 小时前
在 CentOS 系统上实现定时执行 Python 邮件发送任务
java·linux·开发语言·人工智能·python·centos·pygame
I'm a winner2 小时前
第五章:Python 数据结构:列表、元组与字典(二)
数据结构·python
番薯大佬2 小时前
Python学习-day8 元组tuple
java·python·学习
zhao3266857512 小时前
海外代理IP平台Top3评测:LoongProxy、神龙动态IP、IPIPGO哪家更适合你?
服务器·网络·tcp/ip
小文数模2 小时前
2025高教社国赛数学建模C题参考论文(含模型和代码)
python·数学建模·matlab
XMZH030423 小时前
网络编程;TCP控制机械臂;UDP文件传输;0910;ps今天没写出来
网络·tcp/ip·udp
鸡哥爱技术4 小时前
Django入门笔记
笔记·python·django