七、Hadoop 历史追踪、数据安全阀与 MapReduce初体验

Hadoop 实战拾遗:作业历史追踪、数据安全阀与 MapReduce 巧算 π

一、追溯作业足迹:JobHistory Server 的配置与使用

Hadoop 集群高效运行的背后,离不开对已完成作业的细致分析。JobHistory Server (JHS) 就像是作业的"黑匣子",为我们保存了宝贵的历史记录。

  • 为何需要 JHS?

    当 YARN 中的Application 结束后,其运行时上下文随之消失。JHS 的存在就是为了持久化这些作业日志和统计信息,方便日后回溯。

  • JHS 的工作核心

    JHS 默默收集 MapReduce (或其他兼容框架如 Spark on YARN) 作业在运行时产生的各类事件和配置,将其写入 HDFS 的指定目录。随后,它解析这些文件,并通过Web UI (通常是19888端口) 提供查询服务。

  • 关键配置与启动命令

  1. 配置 mapred-site.xml:
xml 复制代码
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop01:10020</value> <!-- JHS RPC 服务地址 -->
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop01:19888</value> <!-- JHS Web UI 地址 -->
</property>
  1. 启动|停止 JobHistory Server:
bash 复制代码
mr-jobhistory-daemon.sh start|stop historyserver
  • jobhistory不受hadoop集群的启停命令的影响,每次都需单独启动和关闭
  • 历史作业的"时光机"
    配置并启动 JHS 后,只需在浏览器中输入 hadoop01:19888,即可进入历史作业的查询界面,轻松追溯每个作业的前世今生。

二、HDFS 的"后悔药":垃圾桶 (Trash) 机制解析

手滑误删是数据操作中的常见噩梦。HDFS 的垃圾桶机制,就如同为我们的重要数据提供了一道安全防线。

  • 垃圾桶的工作逻辑
    当启用此功能后,执行 hdfs dfs -rm 命令删除文件或目录时,它们并不会被立刻从磁盘抹去,而是被悄悄地移动到当前用户HDFS主目录下的 .Trash/Current/ 目录中,保留了其原始的路径结构。
  • 配置与启用
    垃圾桶的核心配置在 core-site.xml 文件中。
  1. 设置保留时间:
xml 复制代码
<property>
    <name>fs.trash.interval</name>
    <value>1440</value> <!-- 文件在垃圾桶中保留的分钟数,例如 1440 分钟 = 24 小时 -->
</property>

(注意:如果此值为 0,则垃圾桶功能被禁用。)

  1. (可选) 设置检查点间隔:
xml 复制代码
<property>
    <name>fs.trash.checkpoint.interval</name>
    <value>60</value> <!-- 后台清理垃圾桶的检查点间隔(分钟),通常小于或等于 fs.trash.interval -->
</property>
  • "失而复得"的操作
    如果在保留期内意识到误删,可以找回数据。
  1. 查看垃圾桶内容 (示例):
bash 复制代码
hdfs dfs -ls /user/your_username/.Trash/Current/path/to/your/deleted_file
  1. 恢复文件/目录 (示例):
bash 复制代码
hdfs dfs -mv /user/your_username/.Trash/Current/path/to/your/deleted_file /original/path/deleted_file
  • 特别提醒
    • 使用 hdfs dfs -rm -skipTrash <path> 命令会直接跳过垃圾桶,永久删除。
    • 垃圾桶会消耗存储空间,需合理规划保留策略。

三、MapReduce 趣味编程:蒙特卡洛法估算 π

MapReduce 不仅能处理枯燥的数据统计,也能参与到一些有趣的数学实验中。用蒙特卡洛方法估算 π 就是一个经典案例。

  • 核心思想:概率的魔法
    在一个正方形内随机投点,统计落入其内切圆的点的比例。这个比例乘以 4,就近似于 π。点投得越多,结果越准。
  • hadoop-examples.jar 执行 π 估算
    Hadoop 通常自带一个名为 hadoop-examples.jar 的示例程序包,其中包含了用 MapReduce 实现的 PiEstimator (或类似名称的) π 估算程序。我们可以直接通过命令行运行它。
  1. 执行命令示例:
bash 复制代码
hadoop jar hadoop-mapreduce-examples-3.3.4.jar pi 2 4
  • pi: 指定要运行 hadoop-examples.jar 中的 PiEstimator 程序。
  • 2: 指定使用的 Map 任务数量。
  • 4: 指定每个 Map 任务投掷的点数 (samples per map)。
    (总投掷点数 = Map 任务数 * 每个 Map 的点数 = 2 * 2 = 8)

运行后,该 MapReduce 作业会在集群中执行,并在控制台输出估算的 π 值以及作业的相关信息。

想要查看详细的信息,可以去YARN ResourceManager Web UI界面看

  • 实验的启示
    这个命令行操作,让我们无需编写一行 Java 代码,就能体验 MapReduce 分布式计算的魅力。它背后的原理与之前讨论的Mapper/Reducer 逻辑是一致的:大量的随机投点被分配到多个 Map 任务中并行处理,最终结果被汇总得出 π 的估算值。
相关推荐
Elastic 中国社区官方博客1 小时前
如何在 vscode 里配置 MCP 并连接到 Elasticsearch
大数据·人工智能·vscode·elasticsearch·搜索引擎·ai·mcp
计算机毕设残哥3 小时前
紧跟大数据技术趋势:食物口味分析系统Spark SQL+HDFS最新架构实现
大数据·hadoop·python·sql·hdfs·架构·spark
CDA数据分析师干货分享4 小时前
【CDA干货】Excel 的 16类常用函数之计算统计类函数
大数据·数据挖掘·数据分析·excel·cda证书·cda数据分析师
秃头菜狗4 小时前
十、Hadoop 核心目录功能说明表
大数据·hadoop·分布式
亚林瓜子4 小时前
在mac上面使用parquet-cli查看parquet文件
hadoop·macos·cli·parquet
秃头菜狗10 小时前
八、安装 Hadoop
大数据·hadoop·分布式
毕设源码-郭学长16 小时前
【开题答辩全过程】以 Python基于大数据的四川旅游景点数据分析与可视化为例,包含答辩的问题和答案
大数据·python·数据分析
顧棟16 小时前
【HDFS实战】HADOOP 机架感知能力-HDFS
大数据·hadoop·hdfs
亚林瓜子17 小时前
AWS中国云中的ETL之从aurora搬数据到s3(Glue版)
hadoop·spark·云计算·etl·aws
程序员果子19 小时前
Kafka 深度剖析:架构演进、核心概念与设计精髓
大数据·运维·分布式·中间件·架构·kafka