Flink on Yarn 任务启动后,暴露端口无授权访问漏洞,用iptables批量解决

  • 需求:hadoop集群,运行flink on yarn多个任务,被扫描出多个flink任务的未授权访问漏洞,主要是org.apache.flink.yarn.entrypoint.YarnJobClusterEntrypoint相关客户端进程

解决问题,暂用iptables 拦截访问

  • 源漏洞主机:获取漏洞端口并自动添加防火墙规则(设置仅白名单访问)
bash 复制代码
IP=$(hostname -I)
IP2=$(echo -n $IP)
ports=$(ps -ef |grep org.apache.flink.yarn.entrypoint.YarnJobClusterEntrypoint |awk '{print "ss -nltp |grep " $2}' |bash |sed 's@*:@@' |awk '{print "echo "$4 "; curl -s http://IP:"$4"/config?wt=json; echo IP"}'  |sed "s@IP@$IP2@g"  |bash |grep flink-revision -B 1 |grep -v flink-revision |grep -v '\-' |awk '{printf $1 " "}' ) # 3123 2343

#给端口添加防火墙规则,拦截非白名单访问
dodrop(){
  pp=$1
  ips=(192.168.56.12 192.168.56.13 )
    for ip in "${ips[@]}"; do
       iptables -A INPUT -p tcp --dport $pp -s $ip -j ACCEPT
       echo  iptables -A INPUT -p tcp --dport $pp -s $ip -j ACCEPT
    done
    iptables -A INPUT -p tcp --dport $pp  -j DROP
    echo  iptables -A INPUT -p tcp --dport $pp  -j DROP
}

#遍历有漏洞的端口, 给没有添加防火墙的端口补充iptables规则
for i in $(echo $ports)
do
   flag=$(iptables -nL |grep DROP |grep $i)
   #如果没有拦截则补充iptables规则
   if [  -z "$flag" ]; then 
          echo $i
          dodrop $i
   fi
done
相关推荐
DolphinScheduler社区1 小时前
第 8 篇|Apache DolphinScheduler 与 Flink Spark 数据引擎的边界、协同与最佳实践
大数据·flink·spark·开源·apache·海豚调度·大数据工作流调度
黄焖鸡能干四碗1 小时前
企业元数据梳理和元数据管理方案(PPT方案)
大数据·运维·网络·分布式·spark
木心术11 小时前
大数据处理技术:Hadoop与Spark核心原理解析
大数据·hadoop·分布式·spark
BizViewStudio7 小时前
甄选 2026:AI 重构新媒体代运营行业的三大核心变革与落地路径
大数据·人工智能·新媒体运营·媒体
Cx330❀9 小时前
Linux命名管道(FIFO)通信:从原理到实操,一文搞懂跨进程通信
大数据·linux·运维·服务器·elasticsearch·搜索引擎
汽车仪器仪表相关领域9 小时前
NHVOC-70系列固定污染源挥发性有机物监测系统:精准破局工业VOCs监测痛点,赋能环保合规升级
大数据·人工智能·安全性测试
实证小助手11 小时前
世界各国经济政策不确定指数(1997-2024年)月度数据
大数据·人工智能
csgo打的菜又爱玩11 小时前
1.JobManager启动流程解析.md
大数据·flink·源代码管理
Elastic 中国社区官方博客12 小时前
使用 Jina 远程 MCP 服务器的 Agentic 工作流
大数据·运维·人工智能·elasticsearch·搜索引擎·运维开发·jina
金融小师妹13 小时前
AI宏观情景模型解析:能源冲击与通胀粘性下的全球经济增长下修路径
大数据·svn·逻辑回归·能源