hadoop集群环境搭建和常用命令

搭建过程

1.集群配置

cat /etc/hosts

2.步骤安装 Java是否安装

which java 或者 echo $JAVA_HOME

3.解压安装包

tar -zxvf

4.修改配置文件

cd $HADOOP_HOME/etc/hadoop/

下面是需要修改的配置文件

hadoop-env.sh

yarn-env.sh

hdfs-site.xml

core-site.xml

mapred-site.xml

yarn-site.xml

5.配置环境变量(面试点! 两种修改配置的命令有什么区别)

vim ~./bashrc 用户级别的

vim /etc/profile 全局生效的

6.刷新环境变量

复制代码
source ~./bashrc

master环境变量拷贝到 slave1中,同时master和slave之间要进行两两免密登录(最好配置用户级别的)

scp -rp ~./bashrc  root@slave1:/root/.bashrc

scp -rp ~./bashrc  root@slave2:/root/.bashrc

7.拷贝安装包

8.集群启动

#初始化NameNode

hadoop namenode -format

#启动/停止

python 复制代码
 sh  $HADOOP_HOME/sbin/start-all.sh 

  sh  $HADOOP_HOME/sbin/stop-all.sh 

9.验证

jps

常用命令

  1. 查看根目录 hadoop fs -ls /

  2. 创建多级文件夹 hadoop fs -mkdir -p /bd_29/aa/bb

  3. 查看文件路径 pwd

  4. 创建文件 touch

  5. 查看历史输入命令 history

  6. 删除全部已有命令 ctrl + u

  7. 快速回到第一个位置 Ctrl + a

  8. 关闭安全模式 hadoop dfsadmin -safemode leave

  9. 查看硬盘空间 df -h

查看文件大小 du -sh * : 查看各个文件的大小

  1. 上传文件 hadoop fs -put 当前文件路径 目标文件路径

  2. 查看文件内容 hadoop fs -cat(text/tail) b.txt

    查看文件内容前十行 hadoop fs -cat b.txt | head -10

    查看文件大小 hadoop fs -du -s -h /test/a.txt

    查看内容行数 hadoop fs -cat /b.txt | wc -l

    查看文件个数 hadoop fs -ls /b.txt | wc -l

  3. 查看最近被修改的文件 ll -rt

  4. 查看隐藏的目录或者文件 ls -la

  5. -rm -rf 使用之前先pwd ,删除必须指定文件名

  6. :q! 强制退出

    history 查看历史命令 history | grep move

  7. vim中的常用命令

    :set number 显示行号

    :/HADOOP 查找关键字 HADOOP

    gg 快速回到文件开始

    shift + g 快速回到文件末尾

    %s/ a /b / g 将 a 替换成 b

    g+d 高亮单词

  8. 查看内容行数 hadoop fs -cat(text/tail) /bd_29/b.txt | wc -l

  9. 查看文件数量 hadoop fs -ls /bd_29/b.txt | wc -l

  10. 下载文件 hadoop fs -get /bd_29/b.txt .

  11. 删除文件放入回收站 hadoop fs -rmr /bd_29/

相关推荐
幼稚园的山代王2 小时前
RabbitMQ 4.1.1初体验-队列和交换机
分布式·rabbitmq·ruby
小新学习屋2 小时前
Spark从入门到熟悉(篇三)
大数据·分布式·spark
rui锐rui2 小时前
大数据学习2:HIve
大数据·hive·学习
G皮T2 小时前
【Elasticsearch】检索高亮
大数据·elasticsearch·搜索引擎·全文检索·kibana·检索·高亮
沉着的码农6 小时前
【设计模式】基于责任链模式的参数校验
java·spring boot·分布式
zskj_zhyl7 小时前
智慧养老丨从依赖式养老到自主式养老:如何重构晚年生活新范式
大数据·人工智能·物联网
哲科软件7 小时前
从“电话催维修“到“手机看进度“——售后服务系统开发如何重构客户体验
大数据·智能手机·重构
zzywxc7878 小时前
AI 正在深度重构软件开发的底层逻辑和全生命周期,从技术演进、流程重构和未来趋势三个维度进行系统性分析
java·大数据·开发语言·人工智能·spring
专注API从业者8 小时前
构建淘宝评论监控系统:API 接口开发与实时数据采集教程
大数据·前端·数据库·oracle
一瓣橙子9 小时前
缺少关键的 MapReduce 框架文件
大数据·mapreduce