大数据学习的第三天

文章目录

学习大数据命令的方式

查看文件

shell 复制代码
hadoop fs -cat /test/2.txt

下载文件

shell 复制代码
 hadoop fs -get -f /test/2.txt

-f 覆盖文件

-p 保留访问时间

拷贝文件的方式

shell 复制代码
hadoop fs -cp /test/2.txt /itcast

-f 覆盖文件

添加数据的方式

shell 复制代码
hadoop fs -appendToFile /test/3.txt 4.txt /itcast/2.txt

出现了问题

java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[DatanodeInfoWithStorage[192.168.126.159:9866,DS-ace40f67-a4fa-424c-afad-677c5a40ff0f,DISK], DatanodeInfoWithStorage[192.168.126.160:9866,DS-54ad354f-7255-411a-

先hdfs-site.xml中添加文件

复制代码
   <property>
         <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
         <value>NEVER</value>
    </property>

这个问题没有解决我们先看下一个

移动文件

shell 复制代码
hadoop fs -mv /test/name.txt /test02/

hadoop工作流程和工作机制的方式

namenode

作用: 维护管理目录结构,文件存储,访问权限

通过内存和磁盘管理数据
存储元数据,并不是存储实际数据

给定指定位置块的位置

不持久化数据的方式

datanode

负责具体的数据模块存储

负责最后数据存储的方式

secondarynamenode(主节点)

负责 配合主节点进行元数据整合

相关推荐
fanstuck6 小时前
基于大模型的个性化推荐系统实现探索与应用
大数据·人工智能·语言模型·数据挖掘
IT学长编程7 小时前
计算机毕业设计 基于大数据技术的医疗数据分析与研究 Python 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
大数据·hadoop·机器学习·数据分析·毕业设计·毕业论文·医疗数据分析
茯苓gao8 小时前
STM32G4 电流环闭环
笔记·stm32·单片机·嵌入式硬件·学习
lwprain8 小时前
龙蜥8.10中spark各种集群及单机模式的搭建spark3.5.6(基于hadoop3.3.6集群)
大数据·ajax·spark
easy20208 小时前
机器学习的本质:从跑模型到真正解决问题
笔记·学习·机器学习
电商软件开发 小银9 小时前
本地生活服务平台创新模式观察:积分体系如何重塑消费生态?
大数据·人工智能·数字化转型·私域运营·消费者心理学
chenglin0169 小时前
TOGAF——ArchiMate
大数据
扬帆起航139 小时前
亚马逊新品推广破局指南:从手动试错到智能闭环的系统化路径
大数据·数据库·人工智能
Elastic 中国社区官方博客9 小时前
使用 LangExtract 和 Elasticsearch
大数据·人工智能·elasticsearch·搜索引擎·ai·信息可视化·全文检索
Leinwin10 小时前
OpenAI已正式开放ChatGPT Projects
大数据·人工智能·microsoft·copilot·azure