Flink on Yarn 任务启动后,暴露端口无授权访问漏洞,用iptables批量解决

  • 需求:hadoop集群,运行flink on yarn多个任务,被扫描出多个flink任务的未授权访问漏洞,主要是org.apache.flink.yarn.entrypoint.YarnJobClusterEntrypoint相关客户端进程

解决问题,暂用iptables 拦截访问

  • 源漏洞主机:获取漏洞端口并自动添加防火墙规则(设置仅白名单访问)
bash 复制代码
IP=$(hostname -I)
IP2=$(echo -n $IP)
ports=$(ps -ef |grep org.apache.flink.yarn.entrypoint.YarnJobClusterEntrypoint |awk '{print "ss -nltp |grep " $2}' |bash |sed 's@*:@@' |awk '{print "echo "$4 "; curl -s http://IP:"$4"/config?wt=json; echo IP"}'  |sed "s@IP@$IP2@g"  |bash |grep flink-revision -B 1 |grep -v flink-revision |grep -v '\-' |awk '{printf $1 " "}' ) # 3123 2343

#给端口添加防火墙规则,拦截非白名单访问
dodrop(){
  pp=$1
  ips=(192.168.56.12 192.168.56.13 )
    for ip in "${ips[@]}"; do
       iptables -A INPUT -p tcp --dport $pp -s $ip -j ACCEPT
       echo  iptables -A INPUT -p tcp --dport $pp -s $ip -j ACCEPT
    done
    iptables -A INPUT -p tcp --dport $pp  -j DROP
    echo  iptables -A INPUT -p tcp --dport $pp  -j DROP
}

#遍历有漏洞的端口, 给没有添加防火墙的端口补充iptables规则
for i in $(echo $ports)
do
   flag=$(iptables -nL |grep DROP |grep $i)
   #如果没有拦截则补充iptables规则
   if [  -z "$flag" ]; then 
          echo $i
          dodrop $i
   fi
done
相关推荐
vivo互联网技术3 分钟前
vivo 万台规模 YARN 集群升级实践
大数据·hadoop·yarn
livemetee4 分钟前
Spring Cloud Stream与Flink集成实战
spring cloud·flink
Elastic 中国社区官方博客15 分钟前
jina-embeddings-v5-omni:用于文本、图像、音频和视频的 embeddings
大数据·人工智能·elasticsearch·搜索引擎·ai·音视频·jina
泓博18 分钟前
Openclaw-Ubuntu常用命令
大数据·elasticsearch·搜索引擎·ai
小仙女的小稀罕19 分钟前
外教课转写工具选择建议 | 实测筛选高口碑实用方案
大数据·人工智能·学习·自然语言处理·语音识别
智慧医养结合软件开源30 分钟前
规范新增管控,凝聚志愿力量赋能康养服务
大数据·安全·百度·微信·云计算
黄金矿工Kingliu32 分钟前
经典hadoop案例应用(命令实现版)
大数据·服务器·hadoop
企查查数据服务32 分钟前
融资租赁尽调自动化:我是如何用 API 实现金规25号文的穿透式核查
大数据·ai·企业数据api
大江东去浪淘尽千古风流人物35 分钟前
【Kimera】MIT SPARK 实时度量-语义 SLAM 全栈解析:VIO + 鲁棒 PGO + 语义网格四模块架构与 EuRoC 实测深度剖析
大数据·架构·spark
Sandy_Star36 分钟前
1.7 税务行政法律救济
大数据·单元测试