一、什么是代理服务器
代理服务器 (Proxy Server)顾名思义就是是代理网络用户去取得网络信息的服务器。
形象地说,代理服务器是网络信息的中转站 ,是个人网络和lnternet服务商之间的中间代理机构,负责转发合法的网络信息,对转发进行控制和登记。
通常的我们网络访问流程是直接的请求目标服务器。
而代理服务器就相当于一个中介 ,所有的一切网络访问都通过代理服务器间接的进行。
至于我们常说的VPN也是代理服务器的一种形式。
VPN全称为Virtual Private Network,即虚拟专用网络。主要用于加密通讯。
根据百科解释:虚拟专用网是一种常用于连接中、大型企业或团体与团体间的私人网络的通讯方法。虚拟私人网络的讯息通过公用的网络架构(例如:互联网)来传送内联网的网络讯息。它利用已加密的通道协议(Tunneling Protocol)来达到保密、发送端认证、消息准确性等私人消息安全效果。
二、正向代理和反向代理
代理分为正向代理和反向代理。就像中介可以被双方委托一样。
在网络请求的过程中,如果是用户主动通过代理服务器访问的,那就是正向代理 。在在正向代理过程中,用户隐藏了真实请求的客户端,即服务端不知道正式请求用户是谁。
相反,如果在网络请求过程中,如果是目标服务器要求用户只能通过代理服务器访问,那就是反向代理 。在反向代理过程中,隐藏了内部服务器的信息,用户不需要知道是具体哪一台服务器提供的服务
三、代理服务器的作用
虽然我们总说拒绝中间商赚差价,但是代理服务器这个中介在互联网中的作用着实不小。
1. 保护用户隐私
匿名性与隐私保护是代理的首要功能之一。 在互联网上,黑客、恶意攻击者可能会通过追踪IP地址获取用户的地理位置、设备信息等敏感数据。使用IP代理可以隐藏用户的真实IP地址,降低被追踪的风险。
当然,我们在小说中看到黑客通过七八层代理防止自己被定位也是通过代理服务器来实现的。
2. 提高内网安全性
IP代理也常用于构建内部网络安全防线。 企业和组织也经常设置反向代理来保护其内部网络免受恶意攻击,建立一道有效的网络安全防线。比如Nginx就是一种反向代理服务器。
3. 突破IP限制
IP代理能够帮助用户绕过IP限制。 有些国家或地区可能限制对特定网站或服务的访问,而使用代理服务器可以改变用户的虚拟位置,让其看起来好像是从其他地方登录,从而躲避地理上的限制。科学上网就是这样子的。
还有很多公司都有自己的内部办公网,使用外网无法访问,居家工作时需要连接公司的VPN才能使用办公网站。
4. 爬虫与数据采集
在网络爬虫和数据采集过程被封禁中,IP代理可以防止IP被封禁。 很多网站对于IP都有其访问频率限制,而IP代理可以帮助规避爬虫程序被封禁的风险,同时提高数据采集的效率。
当然这个就需要很多个IP代理服务器有组织的切换请求,个人实现起来比较复杂。
5. 负载均衡
代理服务器也可以设置一个请求分发管理系统,实现负载均衡。 在代理服务器中维护一个服务器池,池中包含多台目标服务器。通过合理分配客户端请求到多个服务器上,就能确保系统的性能、可用性和稳定性,实现服务器的负载均衡。
四、代理服务器搭建
如果要自己搭建代理服务器的话,首先你得有一台服务器。 我采用的是TinyProxy在自己的云服务上搭建,参考了以下几个实现教程。
使用TinyProxy搭建代理服务器_tinyproxy windows
内含代理开启后window使用代理的教程
轻量级的开源代理服务器Tinyproxy安装与配置_Young丶的博客内含配置Tinyproxy自启动配置的内容
TinyProxy正向代理服务器的安装与配置_tinyproxy 密码_搬砖爱好者.的博客内含Tinyproxy设置密码校验内容
1. 安装
sh
yum -y install tinyproxy
2. 修改配置
sh
vi /etc/tinyproxy/tinyproxy.conf
- 设置代理端口
默认为8888,根据自己需求进行更改
- 设置连接IP
默认只允许本地连接,根据自己需求进行更改。如果注释掉,就是所有人都可以使用。
3.启动代理
sh
service tinyproxy start
4. 使用代理
以上网站可以显示计算机现在请求网络的IP地址。
在自己的电脑设置代理。
设置IP代理前后,可以看到,IP地址发生了变化。而且代理IP正是我服务器的IP
五、推荐的代理服务商
如果没有自己的代理服务器的话,那么你就需要代理服务商了。其他的代理产品没深入使用过,我这边使用的是一连代理。
一连代理_领先的代理IP供应商_HTTP代理_SOCKS5代理 (yilian.top)
这个体验确实不错,之前接单有个任务是爬微博舆情,要求越多越好,最好全爬下来。然后,我的IP不出意外的就被封了,后续换IP加上sleep降低爬虫频率也顶多大用。
用的这个里面的隧道代理才最终完成的。简而言之,隧道代理就是不需要自己手动切换代理,服务商提供一个可用的IP池,自动按照周期切换,相当于一群人模拟正常请求接连不断的帮你爬舆情。
当然,选他的最最重要原因的是可以白嫖,而且能白嫖的时间最长。
新用户认证有四种白嫖方案
-
3天不限量使用直连代理IP。
-
不限时使用1万数量的直连代理IP。 可以不用去网上自己一个个搜索尝试免费代理IP了。
-
3天不限量使用每次请求换IP的隧道代理IP。 这个免费时间是我见过最长的,也是最好用的。
-
3天不限量固定时长换IP的隧道代理IP。
注:每个账户四种都能白嫖一次
严重声明,代理商没有国外的IP,不能当作科学上网的手段。
如果需要科学上网,可购买阿里云/华为云/腾讯云/亚马逊云等各个有国外服务器的云服务商,参考以上在国外服务器上自建代理。
国外服务器有云服务商解决手续问题,相比于一些不知名的VPN代理商,自建代理合法且安全。