大数据学习的第三天

文章目录

学习大数据命令的方式

查看文件

shell 复制代码
hadoop fs -cat /test/2.txt

下载文件

shell 复制代码
 hadoop fs -get -f /test/2.txt

-f 覆盖文件

-p 保留访问时间

拷贝文件的方式

shell 复制代码
hadoop fs -cp /test/2.txt /itcast

-f 覆盖文件

添加数据的方式

shell 复制代码
hadoop fs -appendToFile /test/3.txt 4.txt /itcast/2.txt

出现了问题

java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[DatanodeInfoWithStorage[192.168.126.159:9866,DS-ace40f67-a4fa-424c-afad-677c5a40ff0f,DISK], DatanodeInfoWithStorage[192.168.126.160:9866,DS-54ad354f-7255-411a-

先hdfs-site.xml中添加文件

复制代码
   <property>
         <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
         <value>NEVER</value>
    </property>

这个问题没有解决我们先看下一个

移动文件

shell 复制代码
hadoop fs -mv /test/name.txt /test02/

hadoop工作流程和工作机制的方式

namenode

作用: 维护管理目录结构,文件存储,访问权限

通过内存和磁盘管理数据
存储元数据,并不是存储实际数据

给定指定位置块的位置

不持久化数据的方式

datanode

负责具体的数据模块存储

负责最后数据存储的方式

secondarynamenode(主节点)

负责 配合主节点进行元数据整合

相关推荐
zskj_zhyl12 分钟前
AI健康小屋“15分钟服务圈”:如何重构社区健康生态?
大数据·人工智能·物联网
丁满与彭彭19 分钟前
嵌入式学习笔记-MCU阶段-DAY01
笔记·单片机·学习
AllData公司负责人27 分钟前
实时开发IDE部署指南
大数据·ide·开源
呼啦啦--隔壁老王1 小时前
dexopt学习待整理
学习
电商数据girl1 小时前
有哪些常用的自动化工具可以帮助处理电商API接口返回的异常数据?【知识分享】
大数据·分布式·爬虫·python·系统架构
无限远的弧光灯1 小时前
c语言学习_函数递归
c语言·开发语言·学习
海海不掉头发1 小时前
【计算机组成原理】-CPU章节学习篇—笔记随笔
笔记·单片机·学习·考研·计算机组成原理
胖大和尚1 小时前
C++项目学习计划
开发语言·c++·学习
ZeroNews内网穿透2 小时前
服装零售企业跨区域运营难题破解方案
java·大数据·运维·服务器·数据库·tcp/ip·零售
百胜软件@百胜软件2 小时前
重庆兰瓶×百胜软件正式签约,全渠道中台赋能美业新零售
大数据·零售