Hadoop 启动!

​2024/4/22

上个星期我们已经完成了Hadoop的安装及配置文件的修改 下面 我们将namenode进行一下初始化

hdfs namenode -format

(创建文件存储目录:账本目录namenode datanode的目录)

我们在配置时 这就是用来设置账本目录的

我们做完格式化后 tmp目录就出现了

9.Hadoop原理

1)datanode(程序):负责存储

文件被分成block存储在磁盘上 为保证数据安全 文件会有多个副本

在写入数据的时候 自己写一份 顺便给集群中其他地方一份 达到了备份的效果 只是做到了分布式存储 但是并没有将每一块分开的数据进行区分

那么 这个时候 我们要做一个账本

2)namenode(作账本):负责管理 管理文件(a.txt)与block之间的关系 block与datanode之间的关系

3)Secondarynamenode:账本很重要 所以账本需要备份 账本的备份

10.启动Hadoop

启动文件系统:start-dfs.sh stop-dfs.sh

启动计算系统:start-yarn.sh

问题:hadoop中有多少个进程 分别是干嘛的

11.测试

上传数据:hadoop fs -put linux文件路径 hadoop文件路径

查看:hadoop fs -ls /

192.168.38.101:50070

相关推荐
samLi06202 小时前
【工具变量】全国省市区县土地出让结果公告数据(2000-2024年)
大数据
chevysky.cn5 小时前
Elasticsearch部署和集成
大数据·elasticsearch·jenkins
青云交6 小时前
Java 大视界 -- Java 大数据在智能医疗远程手术机器人操作数据记录与分析中的应用(342)
java·大数据·数据记录·远程手术机器人·基层医疗·跨院协作·弱网络适配
武子康6 小时前
大数据-38 Redis 分布式缓存 详细介绍 缓存、读写、旁路、穿透模式
大数据·redis·后端
时序数据说6 小时前
时序数据库的存储之道:从数据特性看技术要点
大数据·数据库·物联网·开源·时序数据库·iotdb
bxlj_jcj7 小时前
Flink时间窗口详解
大数据·flink
诗旸的技术记录与分享7 小时前
Flink-1.19.0源码详解-番外补充4-JobGraph图
大数据·flink
落霞的思绪8 小时前
使用云虚拟机搭建hadoop集群环境
大数据·hadoop·分布式