python爬虫之创建属于自己的ip代理池

在后续需求数据量比较大的情况下,自建一个ip代理池可以帮助我们获得更多的数据。

下面我来介绍一下整个过程

1.找到目标代理网站

python 复制代码
https://www.dailiservers.com/go/webshare
https://proxyscrape.com/
https://spys.one/
https://free-proxy-list.net/
http://free-proxy.cz/en/
https://www.proxynova.com/proxy-server-list/
https://github.com/clarketm/proxy-list
https://github.com/opsxcq/proxy-list

2.解析网站获得免费的代理ip列表

使用解析网站或者是发送网络请求都可以

3.使用request中的参数proxies

如果代理不需要密码和用户名

python 复制代码
prox = {
    "http":"http://ip地址:端口号",
    "https":"http://ip地址:端口号"
}

如果代理需要密码和用户名

python 复制代码
prox = {
    "http":"http://用户名:用户密码@ip地址:端口号",
    "https":"http://用户名:用户密码@ip地址:端口号"
}

注意如果当你的格式 填写不正确的时候,也是会出现请求成功的,但是使用的是自己本机的ip,所以请注意使用时的格式填写

prox的使用

直接在requests中填写参数请求,proxies = prox

4.进行代理验证

大部分免费的代理都是不可以使用的,这里可以使用telnetlib进行验证

使用方法

python 复制代码
 try:
     telnetlib.Telnet(ip, port=端口号, timeout=3)
except:
     print('ip无效!')
else:
    print("有效)

建议将可以使用的ip储存到文件中,以便后续的使用,可以减少筛选的事件。

相关推荐
java1234_小锋3 分钟前
基于Python的旅游推荐协同过滤算法系统(去哪儿网数据分析及可视化(Django+echarts))
python·数据分析·旅游
蓝婷儿5 分钟前
Python 机器学习核心入门与实战进阶 Day 4 - 支持向量机(SVM)原理与分类实战
python·机器学习·支持向量机
%d%d229 分钟前
python 在运行时没有加载修改后的版本
java·服务器·python
kfepiza34 分钟前
Netplan 配置网桥(Bridge)的模板笔记250711
linux·tcp/ip·ubuntu
hrrrrb1 小时前
【TCP/IP】11. IP 组播
服务器·网络·tcp/ip
amazinging2 小时前
北京-4年功能测试2年空窗-报培训班学测开-第四十七天
python·学习·selenium
Freak嵌入式2 小时前
一文速通 Python 并行计算:13 Python 异步编程-基本概念与事件循环和回调机制
开发语言·python·嵌入式·协程·硬件·异步编程
傻啦嘿哟2 小时前
长效住宅代理IP:反爬虫战场上的隐形盾牌
爬虫·网络协议·tcp/ip
一个天蝎座 白勺 程序猿2 小时前
Python练习(1)Python基础类型操作语法实战:20道实战题解与案例分析(上)
开发语言·python·学习
巨人张2 小时前
信息素养Python编程题
开发语言·python