大数据学习的第三天

文章目录

学习大数据命令的方式

查看文件

shell 复制代码
hadoop fs -cat /test/2.txt

下载文件

shell 复制代码
 hadoop fs -get -f /test/2.txt

-f 覆盖文件

-p 保留访问时间

拷贝文件的方式

shell 复制代码
hadoop fs -cp /test/2.txt /itcast

-f 覆盖文件

添加数据的方式

shell 复制代码
hadoop fs -appendToFile /test/3.txt 4.txt /itcast/2.txt

出现了问题

java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[DatanodeInfoWithStorage[192.168.126.159:9866,DS-ace40f67-a4fa-424c-afad-677c5a40ff0f,DISK], DatanodeInfoWithStorage[192.168.126.160:9866,DS-54ad354f-7255-411a-

先hdfs-site.xml中添加文件

   <property>
         <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
         <value>NEVER</value>
    </property>

这个问题没有解决我们先看下一个

移动文件

shell 复制代码
hadoop fs -mv /test/name.txt /test02/

hadoop工作流程和工作机制的方式

namenode

作用: 维护管理目录结构,文件存储,访问权限

通过内存和磁盘管理数据
存储元数据,并不是存储实际数据

给定指定位置块的位置

不持久化数据的方式

datanode

负责具体的数据模块存储

负责最后数据存储的方式

secondarynamenode(主节点)

负责 配合主节点进行元数据整合

相关推荐
埋头编程~20 分钟前
【C++】踏上C++学习之旅(十):深入“类和对象“世界,掌握编程黄金法则(五)(最终篇,内含初始化列表、静态成员、友元以及内部类等等)
java·c++·学习
开利网络1 小时前
数字化转型:企业降本增效的关键之路
大数据·物联网·搜索引擎·信息可视化·1024程序员节
世伟爱吗喽2 小时前
NUXT3学习日记四(路由中间件、导航守卫)
学习
飞凌嵌入式3 小时前
飞凌嵌入式旗下教育品牌ElfBoard与西安科技大学共建「科教融合基地」
嵌入式硬件·学习·嵌入式·飞凌嵌入式
Elastic 中国社区官方博客5 小时前
使用 Elastic AI Assistant for Search 和 Azure OpenAI 实现从 0 到 60 的转变
大数据·人工智能·elasticsearch·microsoft·搜索引擎·ai·azure
Francek Chen7 小时前
【大数据技术基础 | 实验十二】Hive实验:Hive分区
大数据·数据仓库·hive·hadoop·分布式
Red Red8 小时前
网安基础知识|IDS入侵检测系统|IPS入侵防御系统|堡垒机|VPN|EDR|CC防御|云安全-VDC/VPC|安全服务
网络·笔记·学习·安全·web安全
Natural_yz10 小时前
大数据学习17之Spark-Core
大数据·学习·spark
qq_1728055910 小时前
RUST学习教程-安装教程
开发语言·学习·rust·安装
一只小小汤圆10 小时前
opencascade源码学习之BRepOffsetAPI包 -BRepOffsetAPI_DraftAngle
c++·学习·opencascade