大数据开发-Hadoop之深入MapReduce

文章目录

MapReduce任务日志查看

  • 需要开启YARN的日志聚合功能,把散落在NodeManager节点上的日志统一收集管理,方便日志查看
shell 复制代码
[root@hadoop01 hadoop]# vim yarn-site.xml 
        </property>
                <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.log.server.url</name>
                <value>http://192.168.52.100:19888/jobhistory/logs/</value>
        </property>

# 配置文件同步
[root@hadoop01 hadoop]# scp -rq yarn-site.xml hadoop02:/home/soft/hadoop-3.2.0/etc/hadoop/
[root@hadoop01 hadoop]# scp -rq yarn-site.xml hadoop03:/home/soft/hadoop-3.2.0/etc/hadoop/

# 重启服务
[root@hadoop01 hadoop-3.2.0]# sbin/stop-all.sh
Stopping namenodes on [hadoop01]
Last login: Wed Mar  6 09:30:03 CST 2024 from 192.168.52.1 on pts/1
Stopping datanodes
Stopping secondary namenodes [hadoop01]
Last login: Thu Mar  7 09:13:43 CST 2024 on pts/1
Stopping nodemanagers
Last login: Thu Mar  7 09:13:47 CST 2024 on pts/1
Stopping resourcemanager
Last login: Thu Mar  7 09:13:51 CST 2024 on pts/1
You have new mail in /var/spool/mail/root
[root@hadoop01 hadoop-3.2.0]# jps
33464 Jps
[root@hadoop01 hadoop-3.2.0]# sbin/start-all.sh
Starting namenodes on [hadoop01]
Last login: Thu Mar  7 09:13:54 CST 2024 on pts/1
Starting datanodes
Last login: Thu Mar  7 09:14:16 CST 2024 on pts/1
Starting secondary namenodes [hadoop01]
Last login: Thu Mar  7 09:14:18 CST 2024 on pts/1
Starting resourcemanager
Last login: Thu Mar  7 09:14:24 CST 2024 on pts/1
Starting nodemanagers
Last login: Thu Mar  7 09:14:31 CST 2024 on pts/1
[root@hadoop01 hadoop-3.2.0]# jps
33666 NameNode
34179 ResourceManager
34501 Jps
33935 SecondaryNameNode


# 启动historyserver守护进程
[root@hadoop01 hadoop-3.2.0]# bin/mapred --daemon start historyserver
You have new mail in /var/spool/mail/root
[root@hadoop01 hadoop-3.2.0]# jps
33666 NameNode
34626 Jps
34179 ResourceManager
34569 JobHistoryServer
33935 SecondaryNameNode

停止Hadoop集群中的任务

假设任务执行到一半了,发现代码有漏洞,那么错误的代码没有必要再去执行,所以要给它停掉。

she 复制代码
[root@hadoop01 hadoop-3.2.0]# yarn application -kill application_1709774078248_0001

MapReduce程序扩展

当数据只需要进行过滤、解析,不需要聚合的时候不需要reduce阶段,此时在job设置的时候将job.setNumReduceTasks(0);就可以了

Shuffle过程详解

Shuffle就是一个将map数据传输到reduce的过程

Hadoop中的序列化机制

通过上图,影响MapReduce执行效率的主要原因是磁盘IO,如果想提高这个任务的执行效率,就需要对这方面进行优化。进行磁盘IO的时候都要对数据进行序列化和反序列化。

常见的实现

  • Text等价于String的Writable,针对UTF-8序列
  • NullWritable是单例,获取实例使用NullWritable.get()

Hadoop序列化机制的特点

  • 紧凑:高效的存储控件
  • 快速:读写数据的额外开销小
  • 可扩展:可透明的读取老格式的数据
  • 互操作:支持多语言的交互

Java序列化的不足之处

  • 不精简,附加信息太多,不太适合随机访问

    adoop序列化机制的特点

  • 紧凑:高效的存储控件

  • 快速:读写数据的额外开销小

  • 可扩展:可透明的读取老格式的数据

  • 互操作:支持多语言的交互

Java序列化的不足之处

  • 不精简,附加信息太多,不太适合随机访问
  • 存储空间大,递归地输出类的超类描述直到不再有超类
相关推荐
阿里云大数据AI技术12 小时前
大数据公有云市场第一,阿里云占比47%!
大数据
Lx35216 小时前
Hadoop容错机制深度解析:保障作业稳定运行
大数据·hadoop
T062051421 小时前
工具变量-5G试点城市DID数据(2014-2025年
大数据
向往鹰的翱翔21 小时前
BKY莱德因:5大黑科技逆转时光
大数据·人工智能·科技·生活·健康医疗
鸿乃江边鸟1 天前
向量化和列式存储
大数据·sql·向量化
IT毕设梦工厂1 天前
大数据毕业设计选题推荐-基于大数据的客户购物订单数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
java水泥工1 天前
基于Echarts+HTML5可视化数据大屏展示-白茶大数据溯源平台V2
大数据·echarts·html5
广州腾科助你拿下华为认证1 天前
华为考试:HCIE数通考试难度分析
大数据·华为
在未来等你1 天前
Elasticsearch面试精讲 Day 17:查询性能调优实践
大数据·分布式·elasticsearch·搜索引擎·面试
大数据CLUB1 天前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发