Hadoop 启动!

​2024/4/22

上个星期我们已经完成了Hadoop的安装及配置文件的修改 下面 我们将namenode进行一下初始化

hdfs namenode -format

(创建文件存储目录:账本目录namenode datanode的目录)

我们在配置时 这就是用来设置账本目录的

我们做完格式化后 tmp目录就出现了

9.Hadoop原理

1)datanode(程序):负责存储

文件被分成block存储在磁盘上 为保证数据安全 文件会有多个副本

在写入数据的时候 自己写一份 顺便给集群中其他地方一份 达到了备份的效果 只是做到了分布式存储 但是并没有将每一块分开的数据进行区分

那么 这个时候 我们要做一个账本

2)namenode(作账本):负责管理 管理文件(a.txt)与block之间的关系 block与datanode之间的关系

3)Secondarynamenode:账本很重要 所以账本需要备份 账本的备份

10.启动Hadoop

启动文件系统:start-dfs.sh stop-dfs.sh

启动计算系统:start-yarn.sh

问题:hadoop中有多少个进程 分别是干嘛的

11.测试

上传数据:hadoop fs -put linux文件路径 hadoop文件路径

查看:hadoop fs -ls /

192.168.38.101:50070

相关推荐
yyk333243 小时前
Flink详细讲解
大数据·flink
用户46043852250864 小时前
关于paimon-rust 数据写入链路
大数据
数字融合6 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
演艺大赏7 小时前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
知行产研7 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
演艺大赏7 小时前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
Databend8 小时前
活动邀请函|AI 时代的湖仓实践,从应用场景到 Cloud Agent 上手
大数据·数据库·agent
数字新视界1 天前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术1 天前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
武子康1 天前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法