python爬虫之创建属于自己的ip代理池

在后续需求数据量比较大的情况下,自建一个ip代理池可以帮助我们获得更多的数据。

下面我来介绍一下整个过程

1.找到目标代理网站

python 复制代码
https://www.dailiservers.com/go/webshare
https://proxyscrape.com/
https://spys.one/
https://free-proxy-list.net/
http://free-proxy.cz/en/
https://www.proxynova.com/proxy-server-list/
https://github.com/clarketm/proxy-list
https://github.com/opsxcq/proxy-list

2.解析网站获得免费的代理ip列表

使用解析网站或者是发送网络请求都可以

3.使用request中的参数proxies

如果代理不需要密码和用户名

python 复制代码
prox = {
    "http":"http://ip地址:端口号",
    "https":"http://ip地址:端口号"
}

如果代理需要密码和用户名

python 复制代码
prox = {
    "http":"http://用户名:用户密码@ip地址:端口号",
    "https":"http://用户名:用户密码@ip地址:端口号"
}

注意如果当你的格式 填写不正确的时候,也是会出现请求成功的,但是使用的是自己本机的ip,所以请注意使用时的格式填写

prox的使用

直接在requests中填写参数请求,proxies = prox

4.进行代理验证

大部分免费的代理都是不可以使用的,这里可以使用telnetlib进行验证

使用方法

python 复制代码
 try:
     telnetlib.Telnet(ip, port=端口号, timeout=3)
except:
     print('ip无效!')
else:
    print("有效)

建议将可以使用的ip储存到文件中,以便后续的使用,可以减少筛选的事件。

相关推荐
nbsaas-boot13 分钟前
Java 正则表达式白皮书:语法详解、工程实践与常用表达式库
开发语言·python·mysql
仗剑_走天涯16 分钟前
基于pytorch.nn模块实现线性模型
人工智能·pytorch·python·深度学习
chao_78917 分钟前
二分查找篇——搜索旋转排序数组【LeetCode】两次二分查找
开发语言·数据结构·python·算法·leetcode
chao_7895 小时前
二分查找篇——搜索旋转排序数组【LeetCode】一次二分查找
数据结构·python·算法·leetcode·二分查找
烛阴5 小时前
Python装饰器解除:如何让被装饰的函数重获自由?
前端·python
noravinsc6 小时前
django 一个表中包括id和parentid,如何通过parentid找到全部父爷id
python·django·sqlite
ajassi20006 小时前
开源 python 应用 开发(三)python语法介绍
linux·python·开源·自动化
沉默媛6 小时前
如何安装python以及jupyter notebook
开发语言·python·jupyter
kfepiza7 小时前
Netplan 中 bridges、bonds、ethernets、vlans 之间的关系 笔记250711
linux·tcp/ip·shell
Deng9452013147 小时前
基于Python的旅游数据可视化应用
python·numpy·pandas·旅游·数据可视化技术