大数据学习的第三天

文章目录

学习大数据命令的方式

查看文件

shell 复制代码
hadoop fs -cat /test/2.txt

下载文件

shell 复制代码
 hadoop fs -get -f /test/2.txt

-f 覆盖文件

-p 保留访问时间

拷贝文件的方式

shell 复制代码
hadoop fs -cp /test/2.txt /itcast

-f 覆盖文件

添加数据的方式

shell 复制代码
hadoop fs -appendToFile /test/3.txt 4.txt /itcast/2.txt

出现了问题

java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[DatanodeInfoWithStorage[192.168.126.159:9866,DS-ace40f67-a4fa-424c-afad-677c5a40ff0f,DISK], DatanodeInfoWithStorage[192.168.126.160:9866,DS-54ad354f-7255-411a-

先hdfs-site.xml中添加文件

   <property>
         <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
         <value>NEVER</value>
    </property>

这个问题没有解决我们先看下一个

移动文件

shell 复制代码
hadoop fs -mv /test/name.txt /test02/

hadoop工作流程和工作机制的方式

namenode

作用: 维护管理目录结构,文件存储,访问权限

通过内存和磁盘管理数据
存储元数据,并不是存储实际数据

给定指定位置块的位置

不持久化数据的方式

datanode

负责具体的数据模块存储

负责最后数据存储的方式

secondarynamenode(主节点)

负责 配合主节点进行元数据整合

相关推荐
怀旧6661 小时前
spring boot 项目配置https服务
java·spring boot·后端·学习·个人开发·1024程序员节
Dreams°1232 小时前
大数据 ETL + Flume 数据清洗 — 详细教程及实例(附常见问题及解决方案)
大数据·单元测试·可用性测试
sf_www2 小时前
Flink on YARN是如何确定TaskManager个数的
大数据·flink
infiniteWei2 小时前
【Lucene】原理学习路线
学习·搜索引擎·全文检索·lucene
follycat2 小时前
[极客大挑战 2019]PHP 1
开发语言·学习·网络安全·php
武子康3 小时前
大数据-213 数据挖掘 机器学习理论 - KMeans Python 实现 距离计算函数 质心函数 聚类函数
大数据·人工智能·python·机器学习·数据挖掘·scikit-learn·kmeans
武子康3 小时前
大数据-214 数据挖掘 机器学习理论 - KMeans Python 实现 算法验证 sklearn n_clusters labels
大数据·人工智能·python·深度学习·算法·机器学习·数据挖掘
Aloudata4 小时前
NoETL自动化指标平台为数据分析提质增效,驱动业务决策
大数据·数据分析·指标平台·指标体系
并不会6 小时前
常见 CSS 选择器用法
前端·css·学习·html·前端开发·css选择器
龙鸣丿6 小时前
Linux基础学习笔记
linux·笔记·学习