python爬虫之创建属于自己的ip代理池

screamn2023-12-04 14:01

在后续需求数据量比较大的情况下，自建一个ip代理池可以帮助我们获得更多的数据。

下面我来介绍一下整个过程

1.找到目标代理网站

python 复制代码

https://www.dailiservers.com/go/webshare
https://proxyscrape.com/
https://spys.one/
https://free-proxy-list.net/
http://free-proxy.cz/en/
https://www.proxynova.com/proxy-server-list/
https://github.com/clarketm/proxy-list
https://github.com/opsxcq/proxy-list

2.解析网站获得免费的代理ip列表

使用解析网站或者是发送网络请求都可以

3.使用request中的参数proxies

如果代理不需要密码和用户名

python 复制代码

prox = {
    "http":"http://ip地址:端口号",
    "https":"http://ip地址:端口号"
}

如果代理需要密码和用户名

python 复制代码

prox = {
    "http":"http://用户名:用户密码@ip地址:端口号",
    "https":"http://用户名:用户密码@ip地址:端口号"
}

注意如果当你的格式填写不正确的时候，也是会出现请求成功的，但是使用的是自己本机的ip,所以请注意使用时的格式填写

prox的使用

直接在requests中填写参数请求，proxies = prox

4.进行代理验证

大部分免费的代理都是不可以使用的，这里可以使用telnetlib进行验证

使用方法

python 复制代码

 try:
     telnetlib.Telnet(ip, port=端口号, timeout=3)
except:
     print('ip无效！')
else:
    print("有效)

建议将可以使用的ip储存到文件中，以便后续的使用，可以减少筛选的事件。