大数据学习的第三天

文章目录

学习大数据命令的方式

查看文件

shell 复制代码
hadoop fs -cat /test/2.txt

下载文件

shell 复制代码
 hadoop fs -get -f /test/2.txt

-f 覆盖文件

-p 保留访问时间

拷贝文件的方式

shell 复制代码
hadoop fs -cp /test/2.txt /itcast

-f 覆盖文件

添加数据的方式

shell 复制代码
hadoop fs -appendToFile /test/3.txt 4.txt /itcast/2.txt

出现了问题

java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[DatanodeInfoWithStorage[192.168.126.159:9866,DS-ace40f67-a4fa-424c-afad-677c5a40ff0f,DISK], DatanodeInfoWithStorage[192.168.126.160:9866,DS-54ad354f-7255-411a-

先hdfs-site.xml中添加文件

复制代码
   <property>
         <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
         <value>NEVER</value>
    </property>

这个问题没有解决我们先看下一个

移动文件

shell 复制代码
hadoop fs -mv /test/name.txt /test02/

hadoop工作流程和工作机制的方式

namenode

作用: 维护管理目录结构,文件存储,访问权限

通过内存和磁盘管理数据
存储元数据,并不是存储实际数据

给定指定位置块的位置

不持久化数据的方式

datanode

负责具体的数据模块存储

负责最后数据存储的方式

secondarynamenode(主节点)

负责 配合主节点进行元数据整合

相关推荐
武子康5 小时前
大数据-98 Spark 从 DStream 到 Structured Streaming:Spark 实时计算的演进
大数据·后端·spark
阿里云大数据AI技术5 小时前
2025云栖大会·大数据AI参会攻略请查收!
大数据·人工智能
代码匠心8 小时前
从零开始学Flink:数据源
java·大数据·后端·flink
Lx35210 小时前
复杂MapReduce作业设计:多阶段处理的最佳实践
大数据·hadoop
武子康13 小时前
大数据-100 Spark DStream 转换操作全面总结:map、reduceByKey 到 transform 的实战案例
大数据·后端·spark
expect7g14 小时前
Flink KeySelector
大数据·后端·flink
阿里云大数据AI技术1 天前
StarRocks 助力数禾科技构建实时数仓:从数据孤岛到智能决策
大数据
Lx3521 天前
Hadoop数据处理优化:减少Shuffle阶段的性能损耗
大数据·hadoop
武子康2 天前
大数据-99 Spark Streaming 数据源全面总结:原理、应用 文件流、Socket、RDD队列流
大数据·后端·spark
阿里云大数据AI技术2 天前
大数据公有云市场第一,阿里云占比47%!
大数据