Hadoop 启动!

​2024/4/22

上个星期我们已经完成了Hadoop的安装及配置文件的修改 下面 我们将namenode进行一下初始化

hdfs namenode -format

(创建文件存储目录:账本目录namenode datanode的目录)

我们在配置时 这就是用来设置账本目录的

我们做完格式化后 tmp目录就出现了

9.Hadoop原理

1)datanode(程序):负责存储

文件被分成block存储在磁盘上 为保证数据安全 文件会有多个副本

在写入数据的时候 自己写一份 顺便给集群中其他地方一份 达到了备份的效果 只是做到了分布式存储 但是并没有将每一块分开的数据进行区分

那么 这个时候 我们要做一个账本

2)namenode(作账本):负责管理 管理文件(a.txt)与block之间的关系 block与datanode之间的关系

3)Secondarynamenode:账本很重要 所以账本需要备份 账本的备份

10.启动Hadoop

启动文件系统:start-dfs.sh stop-dfs.sh

启动计算系统:start-yarn.sh

问题:hadoop中有多少个进程 分别是干嘛的

11.测试

上传数据:hadoop fs -put linux文件路径 hadoop文件路径

查看:hadoop fs -ls /

192.168.38.101:50070

相关推荐
IT果果日记33 分钟前
给DataX配置加密的方法
大数据·数据库·后端
微盛AI企微管家3 小时前
企业微信的AI功能更新:智能总结、智能搜索、智能机器人、智能表格,更智能的一体化办公解决方案
大数据·人工智能·数据挖掘
金融Tech趋势派3 小时前
企业微信私域运营代运营:微盛AI・企微管家以四级分层服务助力企业私域落地与增长
大数据·人工智能·企业微信
AI企微观察3 小时前
企业微信如何正确营销获客?精准定位与场景触达的实践框架
大数据·人工智能
金融Tech趋势派4 小时前
企业微信私有化服务商怎么选?从数据安全与定制化需求看适配方向
大数据·人工智能·金融·企业微信·零售
艾莉丝努力练剑4 小时前
【Linux权限 (二)】Linux权限机制深度解析:umask如何决定默认权限与粘滞位的妙用
大数据·linux·服务器·c++·ubuntu·centos·1024程序员节
武子康4 小时前
大数据-140 ClickHouse CollapsingMergeTree详解 外部数据源最小闭环HDFS/MySQL/Kafka
大数据·后端·nosql
文火冰糖的硅基工坊5 小时前
[人工智能-大模型-107]:模型层 - 神经元的功能角色:特征提取与相似度量化
大数据·人工智能
2501_938773995 小时前
《Hadoop 与 Spark 融合路径:基于 Spark on YARN 的部署与调优技巧》
大数据·hadoop·spark
河南博为智能科技有限公司5 小时前
十六串口服务器-解决多设备联网难题
大数据·运维·服务器·人工智能·物联网·边缘计算