AI比我强系列 MR JobHistory Server 访问 403 排查记录

#本人就没想到直接获取ip跳过nginx拦截,AI还是有点东西的。

现象

线上机器无法通过域名访问 MR 历史服务器:

bash 复制代码
curl "http://yq01-xingtian-historyserver.dmop.xxxx.com:8233/jobhistory.jsp?jobName=xxxxx"

返回 403:

html 复制代码
<html>
<head><title>403 Forbidden</title></head>
<body bgcolor="white">
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx/1.8.0</center>
</body>
</html>

访问被 nginx 拦截,初步怀疑是按 Host 头做的访问控制。

排查过程

1. DNS 解析

用沙箱 DNS 解析该域名,拿到内网 IP:

bash 复制代码
getent hosts yq01-xingtian-historyserver.dmop.xxxx.com
# → 10.108.19.11    yq01-xingtian-historyserver.dmop.xxx.com

2. 直连 IP 验证

拿到 IP 后用 IP:port 直连根路径:

bash 复制代码
curl http://10.108.19.11:8233/
# → 200 OK

结果对比:

访问方式 Host 头 结果
域名访问 带域名 403(nginx 拦截)
IP 直连 不带域名 200(可达)

结论

  • 403 是反向代理按域名/Host 头做的访问控制,真实服务本身正常。
  • 10.108.19.11 是通过内网 DNS 解析 MR 历史服务器域名得到的真实地址。
  • 绕过域名、直接走 IP + 端口即可访问到真实的 history server 服务。
相关推荐
kaoa0007 天前
Linux入门攻坚——90、Hadoop-2-MapReduce计算框架及Hadoop生态系统概览
linux·hadoop·mapreduce
2601_9623008112 天前
机器学习贴士:使用Python编写MapReduce
hadoop·python·机器学习·mapreduce·数据处理
磁场转动100万匹14 天前
大数据入门:Hadoop 与 MapReduce 学习路线
大数据·hadoop·mapreduce
崖边看雾14 天前
Hadoop —— MapReduce完整工作流程
大数据·mapreduce
磁场转动100万匹14 天前
HDFS 与 MapReduce 核心原理详解
hadoop·hdfs·mapreduce
Gl�ria15 天前
Hadoop MapReduce/Hive 数据倾斜完整排查
hive·hadoop·mapreduce
ha_lydms18 天前
HDFS的读写流程
大数据·hadoop·hdfs·mapreduce·yarn·maxcompute·odps
ha_lydms2 个月前
Hologres 简介
大数据·hadoop·阿里云·mapreduce·yarn·dataworks·hologres
腾讯云大数据2 个月前
从多模态数据处理到模型训练:腾讯云EMR-Ray打通Data+AI全流程
人工智能·云计算·腾讯云·mapreduce·腾讯云大数据