十、Hadoop 核心目录功能说明表

一、Hadoop 核心目录功能说明表

目录名称 核心功能描述 关键包含内容
bin 目录 存放对 Hadoop 相关服务进行操作的脚本,主要用于日常功能执行与管理 操作 HDFS、YARN、MapReduce 等服务的脚本(如 hdfsyarnmapred 等命令脚本)
etc 目录 Hadoop 的核心配置文件目录,用于配置 Hadoop 各组件的运行参数 Hadoop 核心配置文件(如 core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml 等)
lib 目录 存放 Hadoop 的本地库,提供底层数据处理支持 实现数据压缩与解压缩功能的本地库文件(如支持 Gzip、Snappy 等压缩格式的库)
sbin 目录 存放启动或停止 Hadoop 相关服务的脚本,用于服务生命周期管理 服务启停脚本(如 start-dfs.shstop-dfs.shstart-yarn.shstop-yarn.sh 等)
share 目录 存放 Hadoop 的依赖资源、文档及示例,用于开发与学习 1. 依赖 JAR 包(Hadoop 各组件的核心依赖库) 2. 官方文档(API 文档、使用手册等) 3. 官方案例(用于演示 Hadoop 功能的示例程序)

二、Hadoop 默认配置文件

默认配置文件 文件存放在 Hadoop 的 jar 包中的位置 说明
core-default.xml $HADOOP_HOME/share/hadoop/common/hadoop-common-3.2.1.jar/core-default.xml 包含 Hadoop 核心模块(如 I/O、序列化等)的默认配置参数
hdfs-default.xml $HADOOP_HOME/share/hadoop/hdfs/hadoop-hdfs-3.2.1.jar/hdfs-default.xml 包含 HDFS(分布式文件系统)相关的默认配置参数
yarn-default.xml $HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-common-3.2.1.jar/yarn-default.xml 包含 YARN(资源管理系统)相关的默认配置参数
mapred-default.xml $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.2.1.jar/mapred-default.xml 包含 MapReduce(分布式计算框架)相关的默认配置参数
相关推荐
武子康10 小时前
大数据-242 离线数仓 - DataX 实战:MySQL 全量/增量导入 HDFS + Hive 分区(离线数仓 ODS
大数据·后端·apache hive
SelectDB1 天前
易车 × Apache Doris:构建湖仓一体新架构,加速 AI 业务融合实践
大数据·agent·mcp
武子康2 天前
大数据-241 离线数仓 - 实战:电商核心交易数据模型与 MySQL 源表设计(订单/商品/品类/店铺/支付)
大数据·后端·mysql
茶杯梦轩2 天前
从零起步学习RabbitMQ || 第三章:RabbitMQ的生产者、Broker、消费者如何保证消息不丢失(可靠性)详解
分布式·后端·面试
IvanCodes2 天前
一、消息队列理论基础与Kafka架构价值解析
大数据·后端·kafka
武子康3 天前
大数据-240 离线数仓 - 广告业务 Hive ADS 实战:DataX 将 HDFS 分区表导出到 MySQL
大数据·后端·apache hive
回家路上绕了弯3 天前
深入解析Agent Subagent架构:原理、协同逻辑与实战落地指南
分布式·后端
字节跳动数据平台3 天前
5000 字技术向拆解 | 火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
武子康4 天前
大数据-239 离线数仓 - 广告业务实战:Flume 导入日志到 HDFS,并完成 Hive ODS/DWD 分层加载
大数据·后端·apache hive
字节跳动数据平台5 天前
代码量减少 70%、GPU 利用率达 95%:火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据