七、Hadoop 历史追踪、数据安全阀与 MapReduce初体验

Hadoop 实战拾遗:作业历史追踪、数据安全阀与 MapReduce 巧算 π

一、追溯作业足迹:JobHistory Server 的配置与使用

Hadoop 集群高效运行的背后,离不开对已完成作业的细致分析。JobHistory Server (JHS) 就像是作业的"黑匣子",为我们保存了宝贵的历史记录。

  • 为何需要 JHS?

    当 YARN 中的Application 结束后,其运行时上下文随之消失。JHS 的存在就是为了持久化这些作业日志和统计信息,方便日后回溯。

  • JHS 的工作核心

    JHS 默默收集 MapReduce (或其他兼容框架如 Spark on YARN) 作业在运行时产生的各类事件和配置,将其写入 HDFS 的指定目录。随后,它解析这些文件,并通过Web UI (通常是19888端口) 提供查询服务。

  • 关键配置与启动命令

  1. 配置 mapred-site.xml:
xml 复制代码
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop01:10020</value> <!-- JHS RPC 服务地址 -->
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop01:19888</value> <!-- JHS Web UI 地址 -->
</property>
  1. 启动|停止 JobHistory Server:
bash 复制代码
mr-jobhistory-daemon.sh start|stop historyserver
  • jobhistory不受hadoop集群的启停命令的影响,每次都需单独启动和关闭
  • 历史作业的"时光机"
    配置并启动 JHS 后,只需在浏览器中输入 hadoop01:19888,即可进入历史作业的查询界面,轻松追溯每个作业的前世今生。

二、HDFS 的"后悔药":垃圾桶 (Trash) 机制解析

手滑误删是数据操作中的常见噩梦。HDFS 的垃圾桶机制,就如同为我们的重要数据提供了一道安全防线。

  • 垃圾桶的工作逻辑
    当启用此功能后,执行 hdfs dfs -rm 命令删除文件或目录时,它们并不会被立刻从磁盘抹去,而是被悄悄地移动到当前用户HDFS主目录下的 .Trash/Current/ 目录中,保留了其原始的路径结构。
  • 配置与启用
    垃圾桶的核心配置在 core-site.xml 文件中。
  1. 设置保留时间:
xml 复制代码
<property>
    <name>fs.trash.interval</name>
    <value>1440</value> <!-- 文件在垃圾桶中保留的分钟数,例如 1440 分钟 = 24 小时 -->
</property>

(注意:如果此值为 0,则垃圾桶功能被禁用。)

  1. (可选) 设置检查点间隔:
xml 复制代码
<property>
    <name>fs.trash.checkpoint.interval</name>
    <value>60</value> <!-- 后台清理垃圾桶的检查点间隔(分钟),通常小于或等于 fs.trash.interval -->
</property>
  • "失而复得"的操作
    如果在保留期内意识到误删,可以找回数据。
  1. 查看垃圾桶内容 (示例):
bash 复制代码
hdfs dfs -ls /user/your_username/.Trash/Current/path/to/your/deleted_file
  1. 恢复文件/目录 (示例):
bash 复制代码
hdfs dfs -mv /user/your_username/.Trash/Current/path/to/your/deleted_file /original/path/deleted_file
  • 特别提醒
    • 使用 hdfs dfs -rm -skipTrash <path> 命令会直接跳过垃圾桶,永久删除。
    • 垃圾桶会消耗存储空间,需合理规划保留策略。

三、MapReduce 趣味编程:蒙特卡洛法估算 π

MapReduce 不仅能处理枯燥的数据统计,也能参与到一些有趣的数学实验中。用蒙特卡洛方法估算 π 就是一个经典案例。

  • 核心思想:概率的魔法
    在一个正方形内随机投点,统计落入其内切圆的点的比例。这个比例乘以 4,就近似于 π。点投得越多,结果越准。
  • hadoop-examples.jar 执行 π 估算
    Hadoop 通常自带一个名为 hadoop-examples.jar 的示例程序包,其中包含了用 MapReduce 实现的 PiEstimator (或类似名称的) π 估算程序。我们可以直接通过命令行运行它。
  1. 执行命令示例:
bash 复制代码
hadoop jar hadoop-mapreduce-examples-3.3.4.jar pi 2 4
  • pi: 指定要运行 hadoop-examples.jar 中的 PiEstimator 程序。
  • 2: 指定使用的 Map 任务数量。
  • 4: 指定每个 Map 任务投掷的点数 (samples per map)。
    (总投掷点数 = Map 任务数 * 每个 Map 的点数 = 2 * 2 = 8)

运行后,该 MapReduce 作业会在集群中执行,并在控制台输出估算的 π 值以及作业的相关信息。

想要查看详细的信息,可以去YARN ResourceManager Web UI界面看

  • 实验的启示
    这个命令行操作,让我们无需编写一行 Java 代码,就能体验 MapReduce 分布式计算的魅力。它背后的原理与之前讨论的Mapper/Reducer 逻辑是一致的:大量的随机投点被分配到多个 Map 任务中并行处理,最终结果被汇总得出 π 的估算值。
相关推荐
Learn Beyond Limits1 天前
Error metrics for skewed datasets|倾斜数据集的误差指标
大数据·人工智能·python·深度学习·机器学习·ai·吴恩达
IT研究室1 天前
大数据毕业设计选题推荐-基于大数据的宫颈癌风险因素分析与可视化系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata
武子康1 天前
Java-118 深入浅出 MySQL ShardingSphere 分片剖析:SQL 支持范围、限制与优化实践
java·大数据·数据库·分布式·sql·mysql·性能优化
IT毕设梦工厂1 天前
大数据毕业设计选题推荐-基于大数据的高级大豆农业数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·数据分析·课程设计
专注数据的痴汉1 天前
「数据获取」《中国服务业统计与服务业发展(2014)》
大数据·人工智能
镜舟科技1 天前
告别 Hadoop,拥抱 StarRocks!政采云数据平台升级之路
大数据·starrocks·数据仓库·hadoop·存算分离
毕设源码-赖学姐1 天前
【开题答辩全过程】以 基于Hadoop电商数据的可视化分析为例,包含答辩的问题和答案
大数据·hadoop·分布式
时序数据说1 天前
时序数据库IoTDB的核心优势
大数据·数据库·物联网·开源·时序数据库·iotdb
计算机毕设残哥1 天前
HDFS存储农业大数据的秘密是什么?高级大豆数据分析与可视化系统架构设计思路
大数据·hadoop·python·hdfs·数据分析·spark·django
IT毕设实战小研1 天前
2026届大数据毕业设计选题推荐-基于大数据旅游数据分析与推荐系统 爬虫数据可视化分析
大数据·人工智能·爬虫·机器学习·架构·数据分析·课程设计