hadoop的sbin

路径:opt/homebrew/sbin

Hadoop 的 sbin 目录下包含了一系列 shell 脚本,用于启动、停止和管理 Hadoop 的各个组件和服务。下面逐一解释这些脚本的作用:

启动和停止脚本

  1. start-all.sh

    用于启动所有的 Hadoop 守护进程,包括 NameNode、Secondary NameNode、DataNode、ResourceManager 和 NodeManager。

  2. stop-all.sh

    用于停止所有的 Hadoop 守护进程。

  3. start-dfs.sh

    专门用于启动 HDFS 相关的守护进程,包括 NameNode、Secondary NameNode 和 DataNode。

  4. stop-dfs.sh

    专门用于停止 HDFS 相关的守护进程。

  5. start-yarn.sh

    用于启动 YARN 相关的守护进程,包括 ResourceManager 和 NodeManager。

  6. stop-yarn.sh

    用于停止 YARN 相关的守护进程。

单个守护进程的启动和停止脚本

  1. hadoop-daemon.sh

    通用的脚本,用于启动或停止任何 Hadoop 守护进程。它接受参数来指定要启动或停止的具体守护进程。

  2. mr-jobhistory-daemon.sh

    用于启动或停止 MapReduce JobHistory 服务器。

  3. kms.sh

    用于启动或停止 Kerberos 密钥管理服务 (KMS)。

  4. httpfs.sh

    用于启动或停止 HTTPFS 服务。

其他管理脚本

  1. start-secure-dns.shstop-secure-dns.sh

    用于启动和停止安全 DNS 服务。

  2. start-balancer.shstop-balancer.sh

    用于启动和停止 HDFS 数据块平衡器。

  3. workers.sh

    显示当前集群中的活动 DataNode 列表。

  4. refresh-namenodes.sh

    用于刷新 NameNode 信息,尤其是在联邦模式下使用。

  5. FederationStateStore

    通常不是一个脚本,而是一个目录,用于存储 HDFS 联邦状态信息。

  6. distribute-exclude.sh

    用于分发 exclude 文件到集群中的所有节点。exclude 文件定义了哪些 DataNode 应该被排除在外。

  7. yarn-daemon.shyarn-daemons.sh

    用于启动或停止 YARN 的守护进程。

具体使用方法

这些脚本通常接受一些参数来指定要启动或停止的服务,例如:

  • 启动单个守护进程:

    bash 复制代码
    hadoop-daemon.sh start namenode
  • 停止单个守护进程:

    bash 复制代码
    hadoop-daemon.sh stop datanode
  • 启动所有 HDFS 组件:

    bash 复制代码
    start-dfs.sh
  • 停止所有 HDFS 组件:

    bash 复制代码
    stop-dfs.sh
  • 启动所有 YARN 组件:

    bash 复制代码
    start-yarn.sh
  • 停止所有 YARN 组件:

    bash 复制代码
    stop-yarn.sh

这些脚本是管理 Hadoop 集群的重要工具,它们简化了启动和停止服务的过程,并且可以方便地在单个节点上或整个集群中执行操作。

相关推荐
万能小锦鲤14 小时前
《大数据技术原理与应用》实验报告三 熟悉HBase常用操作
java·hadoop·eclipse·hbase·shell·vmware·实验报告
王小王-1231 天前
基于Hadoop与LightFM的美妆推荐系统设计与实现
大数据·hive·hadoop·大数据美妆推荐系统·美妆商品用户行为·美妆电商
一切顺势而行1 天前
hadoop 集群问题处理
大数据·hadoop·分布式
万能小锦鲤2 天前
《大数据技术原理与应用》实验报告七 熟悉 Spark 初级编程实践
hive·hadoop·ubuntu·flink·spark·vmware·实验报告
项目題供诗2 天前
Hadoop(二)
大数据·hadoop·分布式
万能小锦鲤2 天前
《大数据技术原理与应用》实验报告五 熟悉 Hive 的基本操作
hive·hadoop·ubuntu·eclipse·vmware·实验报告·hiveql
随心............3 天前
hive的相关的优化
数据仓库·hive·hadoop
万能小锦鲤3 天前
《大数据技术原理与应用》实验报告一 熟悉常用的Linux操作和Hadoop操作
大数据·linux·hadoop·ubuntu·vmware·实验报告·大数据技术原理与应用
码字的字节3 天前
深入解析Hadoop中的HDFS架构设计
大数据·hadoop·hdfs
码字的字节3 天前
深入探讨Hadoop YARN Federation:架构设计与实践应用
hadoop·yarn·federation