Hadoop 启动!

​2024/4/22

上个星期我们已经完成了Hadoop的安装及配置文件的修改 下面 我们将namenode进行一下初始化

hdfs namenode -format

(创建文件存储目录:账本目录namenode datanode的目录)

我们在配置时 这就是用来设置账本目录的

我们做完格式化后 tmp目录就出现了

9.Hadoop原理

1)datanode(程序):负责存储

文件被分成block存储在磁盘上 为保证数据安全 文件会有多个副本

在写入数据的时候 自己写一份 顺便给集群中其他地方一份 达到了备份的效果 只是做到了分布式存储 但是并没有将每一块分开的数据进行区分

那么 这个时候 我们要做一个账本

2)namenode(作账本):负责管理 管理文件(a.txt)与block之间的关系 block与datanode之间的关系

3)Secondarynamenode:账本很重要 所以账本需要备份 账本的备份

10.启动Hadoop

启动文件系统:start-dfs.sh stop-dfs.sh

启动计算系统:start-yarn.sh

问题:hadoop中有多少个进程 分别是干嘛的

11.测试

上传数据:hadoop fs -put linux文件路径 hadoop文件路径

查看:hadoop fs -ls /

192.168.38.101:50070

相关推荐
一键三联啊4 小时前
【GIT】错误集锦及解决方案
大数据·elasticsearch·搜索引擎
板凳坐着晒太阳4 小时前
Hive 删除分区语句卡死问题
数据仓库·hive·hadoop
武子康5 小时前
大数据-124 - Flink State:Keyed State、Operator State KeyGroups 工作原理 案例解析
大数据·后端·flink
vxtkjzxt8885 小时前
手机群控软件在游戏运营中的行为模拟技术实践
大数据
铭毅天下6 小时前
Codebuddy 实现:云端 Elasticsearch 到 本地 Easysearch 跨集群迁移 Python 小工具
大数据·elasticsearch·搜索引擎·全文检索
青云交6 小时前
Java 大视界 -- Java 大数据在智慧交通自动驾驶仿真与测试数据处理中的应用
java·大数据·自动驾驶·数据存储·算法优化·智慧交通·测试数据处理
观远数据7 小时前
A Blueberry 签约观远数据,观远BI以一站式现代化驱动服饰企业新增长
大数据·数据库·人工智能·数据分析
缘华工业智维13 小时前
工业设备预测性维护:能源成本降低的“隐藏钥匙”?
大数据·网络·人工智能
NewsMash13 小时前
马来西亚代表团到访愿景娱乐 共探TikTok直播电商增长新路径
大数据·娱乐
凯禾瑞华养老实训室15 小时前
聚焦生活照护能力培育:老年生活照护实训室建设清单的模块设计与资源整合
大数据·人工智能·科技·ar·vr·智慧养老·智慧健康养老服务与管理