Hadoop优化

1.Datanode管理多块数据盘

1.理解

其实就是扩展Datanode空间,之前一个盘,现在加一个盘或者多个盘,

2.优点:

  • 1.提高容错(避免硬盘损坏全部数据丢失)
  • 2.实现数据分离模式存储(框架本体与数据分离,集群出现问题数据可进行单独恢复,这样也是提高容错)

3.配置(临时挂载,晚点查永久挂载)

1.磁盘配置

  1. lsblk 查看磁盘数据
  2. sudo fdisk /dev/sdb 建立分区
  3. sudo mkfs.ext4 /dev/sdb1 格式化
  4. 挂载
  • sudo mkdir -p /data/disk1
  • sudo mount /dev/sdb1 /data/disk1
  • lsblk

    类似这样就是挂载成功
  1. sudo chown -R atguigu:atguigu /data/disk1 修改权限

2. 将磁盘路径写入配置文件

注意,这个是不能分发的,独属于这个datanode的

dfs.datanode.data.dir

file://${hadoop.tmp.dir}/dfs/data,file:///data/disk1



4.磁盘的数据均衡(根据空间百分比进行分配)

1.生成均衡计划

c 复制代码
$ hdfs diskbalancer -plan hadoop102 --thresholdPercentage 1 --v

磁盘的数据均衡

这些的思路都是重点

HDFS---集群扩容及缩容

数据的分治管理

加个服务器然后配成DN

修改主机名 用户名

安装HADOOP

为什么会死?

为什么DN里面能显示

datanode上的version中有datanodeuuid

新扩容的删掉DataNode

为什么不用在workers注册就识别是DN

缩容

数据迁移 NN自己迁移

白名单: 表示在白名单的主机IP地址可以,用来存储数据。

黑名单

当服务器要退休时,在黑名单中添加,但是,不能删除白名单,因为要完成数据迁移,如果删除了,数据就丢失了.

每个数据块来一个副本,满足最低保证,就能退出安全模式了

其实安全模式就是为了避免数据混乱.

可以手动打开安全模式

等待安全模式,只要有一个DN离开,就关

什么时候需要主动进入安全模式?

出现问题,维护

等待什么时候用?

定时上传,或者维护结束

脚本执行

直接在wait第二行直接写代码就行

为什么hadoop.tmp.dir是这么写的?

压缩

原则: 运算密集少用压缩,IO密集多用压缩

只要有IO操作的地方都可以使用压缩

数据量小于块大小,不用切

为什么mapper为什么不考虑压缩率,因为他不需要永久落盘

相关推荐
前端世界8 分钟前
从0到1实现鸿蒙智能设备状态监控:轻量级架构、分布式同步与MQTT实战全解析
分布式·架构·harmonyos
铭毅天下15 分钟前
Codebuddy 实现:云端 Elasticsearch 到 本地 Easysearch 跨集群迁移 Python 小工具
大数据·elasticsearch·搜索引擎·全文检索
青云交29 分钟前
Java 大视界 -- Java 大数据在智慧交通自动驾驶仿真与测试数据处理中的应用
java·大数据·自动驾驶·数据存储·算法优化·智慧交通·测试数据处理
观远数据1 小时前
A Blueberry 签约观远数据,观远BI以一站式现代化驱动服饰企业新增长
大数据·数据库·人工智能·数据分析
缘华工业智维7 小时前
工业设备预测性维护:能源成本降低的“隐藏钥匙”?
大数据·网络·人工智能
NewsMash7 小时前
马来西亚代表团到访愿景娱乐 共探TikTok直播电商增长新路径
大数据·娱乐
凯禾瑞华养老实训室9 小时前
聚焦生活照护能力培育:老年生活照护实训室建设清单的模块设计与资源整合
大数据·人工智能·科技·ar·vr·智慧养老·智慧健康养老服务与管理
koping_wu10 小时前
【Redis】用Redis实现分布式锁、乐观锁
数据库·redis·分布式
Q264336502311 小时前
【有源码】基于Hadoop生态的大数据共享单车数据分析与可视化平台-基于Python与大数据的共享单车多维度数据分析可视化系统
大数据·hadoop·python·机器学习·数据分析·spark·毕业设计