一问读懂并了解HTTP代理的基本原理

代理分类

  • 正向代理:代理客户端

  • 反向代理:代理服务器,cdn雏形

  • 透明代理:代理客户端

三种代理模式概览
详细对比表

通过curl分析HTTP代理

cpp 复制代码
curl -x https://127.0.0.1:31181 https://httpbin.org/get?abc=123
  • 正常访问httpbin.org

  • 通过代理访问httpbin.org

通过抓包分析,两个包的请求行分别是/get?abc=123http://httpbin.org/get?abc=123。所以通过请求行,可以很清楚的知道客户端请求的目的url。

下面是代理服务伪代码:

cpp 复制代码
#通过代理,访问目的地址
if url.startwith('http'){
	#获取headers
	#获取cookies
	#获取url
	#检查授权
	if check_auth(){
		resp = request(url,heders,cookies)
		retrun resp
	}
	else{
		#授权失败
		return 403;//forbidden
	}
}

此时一个简单的HTTP代理即可完成。至于更多细节,例如请求头是否包含真实客户机IP等细节处理,根据实际业务需求处理即可。

通过浏览器代理分析

发现浏览器并未遵守上述规则,但是都有一个共同点:HOST,始终是目标HOST,所以代理服务进一步优化:

cpp 复制代码
#通过代理,访问目的地址
{
	#获取请求头的HOST 生成完整的URL
	#如果状态行的URL包含HOST(eg:curl 代理),则直接使用URL,如果不包含则从请求头获取HOST,拼接URL
	#获取cookies
	#检查授权
	if check_auth(){
		resp = request(url,heders,cookies)
		retrun resp
	}
	else{
		#授权失败
		return 403;//forbidden
	}
}
HTTP 代理之tunnel

HTTP tunnel,即CONNECT 方法,通过代理服务建立一条TCP通道,实现客户机和后端服务通讯。当Tunnel建立之后,代理服务只维护通道链接,并不需要解析包,此时传送数据可以是任何数据流,不在受HTTP协议限制。

cpp 复制代码
CONNECT httpbin.org:80 HTTP/1.1
Host: httpbin.org:80
Proxy-Authorization: basic *
相关推荐
虎头金猫7 小时前
4K 视频总卡在公网带宽?用 N1 + OpenList 把网盘播放链路重新理顺
运维·服务器·网络·python·容器·beautifulsoup·pandas
wuyk5559 小时前
《WiFi 嵌入式物联网开发全套实战》| 第 16 章 ESP32 AP+STA 双模共存原理与工程坑点
网络·stm32·物联网
XUEYUAN521211 小时前
ASN 自治系统号风控:平台如何通过 IP 所属自治域批量识别代理流量
python·网络协议·http·网络安全·socks5
QYRdata11 小时前
年均增速24.2%!机器人数据湖未来六年增长动能强劲
网络·机器人·服务发现
CHENKONG_CK12 小时前
破解制鞋打磨痛点:RFID赋能去毛刺工序自动化升级
网络·单片机·嵌入式硬件·网络协议·tcp/ip
chshang199212 小时前
工业路由器是什么?浅谈5G工业网络中的IR602
网络·物联网·5g·智能路由器
萧瑟余晖12 小时前
Netty 核心组件与 Reactor 模型详解
网络·架构
ITxiaobing202313 小时前
IP 定位服务选型指南:从准确率到工程落地的技术考察
linux·服务器·网络
wuyk55513 小时前
【Socket 进阶之路】第 9 章 Linux 网络服务量产稳定性优化|心跳保活、TIME_WAIT、SO_LINGER、内存池、断线重连、完整异常防护框架
linux·服务器·开发语言·网络·物联网
z落落13 小时前
C#UDP+串口服务端+UDP 客户端(含 CRC16 校验)
网络·网络协议·udp