【解决】HDFS JournalNode启动慢问题排查

文章目录

  • 一. 问题描述
  • 二. 问题分析
      1. 排查机器性能
      1. DNS的问题
  • 三. 问题解决

一句话:因为dns的问题导致journalnode启动时很慢,通过修复dns对0.0.0.0域名解析,修复此问题。

一. 问题描述

从journalnode启动到服务可用,完成RPC Listen,需要花费大概1分多钟的问题,而这不符合安装预期。

二. 问题分析

1. 排查机器性能

简单查看cpu、内存、磁盘、网络等是否存在问题

shell 复制代码
# top 资源占用
top

# 内存
free -h
# 磁盘占用
df -h

# 网络延迟
ping hostname

发现都正常。

2. DNS的问题

查看了资源都正常,此时有些迷茫,打开chat-gpt问问:

其中第一点提到了DNS的问题,而日志中看到:

在启动journalnode过程中会启动8480、和8485端口,而这两个端口使用的ip都是0.0.0.0。

0.0.0.0意味着journalnode将监听所有可用ip地址,这里的ip地址指的是journalnode所在节点的所有地址。

好处是内网ip和外网ip都能被访问ing?

执行:nmap -v 0.0.0.0

shell 复制代码
 nmap -v 0.0.0.0
 
。。。
Initiating Parallel DNS resolution of 1 host. at 18:00
Completed Parallel DNS resolution of 1 host. at 18:00, 13.00s elapsed
。。。

大概意思是0.0.0.0的DNS解析花费了13秒。

另外一台机同样执行:

shell 复制代码
nmap -v 0.0.0.0

。。。
Initiating Parallel DNS resolution of 1 host. at 18:17
Completed Parallel DNS resolution of 1 host. at 18:17, 0.03s elapsed
。。。

只花了0.03秒,说明此节点的DNS解析确实有问题。

再观察个有意思的现象:

shell 复制代码
 nmap -v hostname1

Starting Nmap 6.40 ( http://nmap.org ) at 2023-11-23 18:20 CST
Initiating Ping Scan at 18:20
Scanning xxx [2 ports]
Completed Ping Scan at 18:20, 0.00s elapsed (1 total hosts)
Initiating Connect Scan at 18:20
。。。。
Completed Connect Scan at 18:20, 0.03s elapsed (1000 total ports)
。。。
Host is up (0.00038s latency).
Not shown: 994 closed ports
PORT     STATE SERVICE
22/tcp   open  ssh
80/tcp   open  http
3306/tcp open  mysql
8899/tcp open  ospf-lite
9000/tcp open  cslistener
9010/tcp open  sdr

Read data files from: /usr/bin/../share/nmap
Nmap done: 1 IP address (1 host up) scanned in 0.06 seconds

当我对具体hostname执行这个命令时,发现没有DNS解析,这里是hosts文件起了作用,绕开了DNS。

Hosts文件是一种本地的文本文件,位于计算机的文件系统中。它用于将特定的主机名映射到相应的IP地址,充当本地的静态映射表。

当系统尝试访问某个主机名时,它首先会查找本地hosts文件,如果找到对应的映射,就直接使用这个映射而不进行DNS查询。这可以提高访问速度,并且可以在本地定义自定义的主机名到IP地址的映射。

那既然能绕过DNS,我将journalnode的配置改成具体hostname,如下:hdfs-site.xml

xml 复制代码
    <property>
        <name>dfs.journalnode.rpc-address</name>
        <value>hostname1:8485</value>
        <description>Address for JournalNode RPC (e.g., "hostname:8485")</description>
    </property>
    <property>
        <name>dfs.journalnode.http-address</name>
        <value>hostname1:8480</value>
        <description>Address for JournalNode HTTP (e.g., "hostname:8480")</description>
    </property>

重新启动journalnode:

发现启动速度果然上来了。那基本上可以确定是因为DNS解析慢导致了hadoop组件启动慢。

三. 问题解决

修改DNS配置

去掉无法连接的DNS地址后,测试journalNode服务在0.0.0.0地址监听,启动过程无延迟。

相关推荐
(:满天星:)3 小时前
第31篇:块设备与字符设备管理深度解析(基于OpenEuler 24.03)
linux·运维·服务器·网络·centos
野蛮人6号5 小时前
虚拟机网络编译器还原默认设置后VMnet8和VMnet1消失了
网络·vmware·虚拟机网络编译器·vmnet8消失
scuter_yu5 小时前
主流零信任安全产品深度介绍
运维·网络·安全
江苏思维驱动智能研究院有限公司5 小时前
Sophos 网络安全:全球领先的自适应安全解决方案提供商
网络·安全·web安全
面朝大海,春不暖,花不开6 小时前
Java网络编程:TCP/UDP套接字通信详解
java·网络·tcp/ip
ChicagoTypewriter6 小时前
计算机网络中的常用表项梳理
网络·计算机网络·智能路由器
Bruce_Liuxiaowei9 小时前
常见高危端口风险分析与防护指南
网络·网络安全·端口·信息搜集
tmacfrank9 小时前
Android 网络全栈攻略(四)—— TCPIP 协议族与 HTTPS 协议
android·网络·https
liulilittle9 小时前
深度剖析:OPENPPP2 libtcpip 实现原理与架构设计
开发语言·网络·c++·tcp/ip·智能路由器·tcp·通信
cui_win9 小时前
【内存】Linux 内核优化实战 - net.ipv4.tcp_tw_reuse
linux·网络·tcp/ip