如何拥有自己的代理服务器

一、什么是代理服务器

代理服务器 (Proxy Server)顾名思义就是是代理网络用户去取得网络信息的服务器

形象地说,代理服务器是网络信息的中转站 ,是个人网络和lnternet服务商之间的中间代理机构,负责转发合法的网络信息,对转发进行控制和登记。

通常的我们网络访问流程是直接的请求目标服务器。

graph LR A[客户端] -->|1.发送请求| C[目标服务器] C -->|2.生成响应| A

而代理服务器就相当于一个中介 ,所有的一切网络访问都通过代理服务器间接的进行。

graph LR A[客户端] -->|1.发送请求| B[代理服务器] B -->|2.转发请求| C[目标服务器] C -->|3.处理请求并生成响应| B B -->|4.转发响应| A

至于我们常说的VPN也是代理服务器的一种形式。

VPN全称为Virtual Private Network,即虚拟专用网络。主要用于加密通讯。

根据百科解释:虚拟专用网是一种常用于连接中、大型企业或团体与团体间的私人网络的通讯方法。虚拟私人网络的讯息通过公用的网络架构(例如:互联网)来传送内联网的网络讯息。它利用已加密的通道协议(Tunneling Protocol)来达到保密、发送端认证、消息准确性等私人消息安全效果。

二、正向代理和反向代理

代理分为正向代理和反向代理。就像中介可以被双方委托一样。

在网络请求的过程中,如果是用户主动通过代理服务器访问的,那就是正向代理在在正向代理过程中,用户隐藏了真实请求的客户端,即服务端不知道正式请求用户是谁。

graph LR A[客户端] -->|1.发送请求| B[用户设置的代理服务器] B -->|2.转发请求| C[目标服务器] C -->|3.处理请求并生成响应| B B -->|4.转发响应| A

相反,如果在网络请求过程中,如果是目标服务器要求用户只能通过代理服务器访问,那就是反向代理在反向代理过程中,隐藏了内部服务器的信息,用户不需要知道是具体哪一台服务器提供的服务

graph LR A[客户端] -->|1.发送请求| B[目标指定的代理服务器] B -->|2.转发请求| C[目标服务器] C -->|3.处理请求并生成响应| B B -->|4.转发响应| A

三、代理服务器的作用

虽然我们总说拒绝中间商赚差价,但是代理服务器这个中介在互联网中的作用着实不小。

1. 保护用户隐私

匿名性与隐私保护是代理的首要功能之一。 在互联网上,黑客、恶意攻击者可能会通过追踪IP地址获取用户的地理位置、设备信息等敏感数据。使用IP代理可以隐藏用户的真实IP地址,降低被追踪的风险。

当然,我们在小说中看到黑客通过七八层代理防止自己被定位也是通过代理服务器来实现的。

2. 提高内网安全性

IP代理也常用于构建内部网络安全防线。 企业和组织也经常设置反向代理来保护其内部网络免受恶意攻击,建立一道有效的网络安全防线。比如Nginx就是一种反向代理服务器。

3. 突破IP限制

IP代理能够帮助用户绕过IP限制。 有些国家或地区可能限制对特定网站或服务的访问,而使用代理服务器可以改变用户的虚拟位置,让其看起来好像是从其他地方登录,从而躲避地理上的限制。科学上网就是这样子的。

还有很多公司都有自己的内部办公网,使用外网无法访问,居家工作时需要连接公司的VPN才能使用办公网站。

4. 爬虫与数据采集

在网络爬虫和数据采集过程被封禁中,IP代理可以防止IP被封禁。 很多网站对于IP都有其访问频率限制,而IP代理可以帮助规避爬虫程序被封禁的风险,同时提高数据采集的效率。

当然这个就需要很多个IP代理服务器有组织的切换请求,个人实现起来比较复杂。

5. 负载均衡

代理服务器也可以设置一个请求分发管理系统,实现负载均衡。 在代理服务器中维护一个服务器池,池中包含多台目标服务器。通过合理分配客户端请求到多个服务器上,就能确保系统的性能、可用性和稳定性,实现服务器的负载均衡。

四、代理服务器搭建

如果要自己搭建代理服务器的话,首先你得有一台服务器。 我采用的是TinyProxy在自己的云服务上搭建,参考了以下几个实现教程。

使用TinyProxy搭建代理服务器_tinyproxy windows

内含代理开启后window使用代理的教程
轻量级的开源代理服务器Tinyproxy安装与配置_Young丶的博客

内含配置Tinyproxy自启动配置的内容
TinyProxy正向代理服务器的安装与配置_tinyproxy 密码_搬砖爱好者.的博客

内含Tinyproxy设置密码校验内容

1. 安装

sh 复制代码
yum -y install tinyproxy

2. 修改配置

sh 复制代码
vi /etc/tinyproxy/tinyproxy.conf
  1. 设置代理端口

默认为8888,根据自己需求进行更改

  1. 设置连接IP

默认只允许本地连接,根据自己需求进行更改。如果注释掉,就是所有人都可以使用。

3.启动代理

sh 复制代码
service tinyproxy start

4. 使用代理

IP地址查询 - 在线工具 (tool.lu)

以上网站可以显示计算机现在请求网络的IP地址。

在自己的电脑设置代理。

设置IP代理前后,可以看到,IP地址发生了变化。而且代理IP正是我服务器的IP

五、推荐的代理服务商

如果没有自己的代理服务器的话,那么你就需要代理服务商了。其他的代理产品没深入使用过,我这边使用的是一连代理

一连代理_领先的代理IP供应商_HTTP代理_SOCKS5代理 (yilian.top)

这个体验确实不错,之前接单有个任务是爬微博舆情,要求越多越好,最好全爬下来。然后,我的IP不出意外的就被封了,后续换IP加上sleep降低爬虫频率也顶多大用。

用的这个里面的隧道代理才最终完成的。简而言之,隧道代理就是不需要自己手动切换代理,服务商提供一个可用的IP池,自动按照周期切换,相当于一群人模拟正常请求接连不断的帮你爬舆情。

当然,选他的最最重要原因的是可以白嫖,而且能白嫖的时间最长

新用户认证有四种白嫖方案

  1. 3天不限量使用直连代理IP。

  2. 不限时使用1万数量的直连代理IP。 可以不用去网上自己一个个搜索尝试免费代理IP了。

  3. 3天不限量使用每次请求换IP的隧道代理IP。 这个免费时间是我见过最长的,也是最好用的。

  4. 3天不限量固定时长换IP的隧道代理IP。

注:每个账户四种都能白嫖一次

严重声明,代理商没有国外的IP,不能当作科学上网的手段。

如果需要科学上网,可购买阿里云/华为云/腾讯云/亚马逊云等各个有国外服务器的云服务商,参考以上在国外服务器上自建代理。

国外服务器有云服务商解决手续问题,相比于一些不知名的VPN代理商,自建代理合法且安全。

相关推荐
lifewange4 分钟前
Linux 日志查看命令速查表
java·linux·运维
凯子坚持 c7 分钟前
企业级数据抓取进阶指南:深度解析IPIDEA自动化解决方案与实战应用
运维·自动化
小CC吃豆子10 分钟前
Then库的原理是什么?
运维·ssh
A132470531219 分钟前
进程管理入门:查看和控制Linux进程
linux·运维·服务器·网络·chrome·github
The star"'20 分钟前
华为云服务系列总结
运维·华为云·云计算
gaize121329 分钟前
网络服务器配置与管理深度分享
服务器
云和数据.ChenGuang30 分钟前
openeuler下的git指令集合
linux·运维·数据库·centos
珠海西格电力33 分钟前
零碳园区工业园区架构协同方案
运维·人工智能·物联网·架构·能源
奥尔特星云大使39 分钟前
使用 Docker 运行 SQL Server 2019
运维·docker·容器·sql server
小宇的天下1 小时前
Calibre DESIGNrev DRC/LVS启动和准备文件(10-1)
服务器·数据库·oracle