【Hadoop01-完全分布式运行模式】

1、分析

1)准备3台服务器(先配置一台,然后克隆两台)

2)安装JDK(之前配置过)

3)安装hadoop(hadoop下载点击此处

4)配置环境变量(vim /etc/profile)

5)配置集群

6)单点启动

7)配置ssh

8)群起并测试集群

2、编写集群分发脚本

因为我只在其中一个服务器上安装了hadoop,需要将安装好的hadoop分发到另外两个服务器,所以这里通过集群分发脚本将hadoop分发到另外两外机器。

2.1、scp( secure copy 安全 拷贝

定义:scp可以实现服务器与服务器之间的数据拷贝

基本语法:

scp -r pdir/fname user@host:pdir/fname

命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

在160服务器操作,将文件从160 拷贝到 161

scp -r c/ root@192.168.121.161:/opt/software/

在161服务器操作,将文件从160拷贝到161

scp -r root@192.168.121.161:/opt/software/hadoop-3.1.3 /opt/software/

在161服务器操作,将160的文件拷贝到162

scp -r root@192.168.121.160:/opt/software/hadoop-3.1.3 root@192.168.121.162:/opt/software/

2.2、rsync远程 同步 工具

定义:

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。scp是把所有文件都复制过去。

差异:scp全量拷贝,rsync增量拷贝

基本语法:

rsync -av pdir/fname user@host:pdir/fname

命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

只同步差异化文件,将160同步到161

rsync -av root@192.168.121.160:/opt/software/hadoop-3.1.3/ /opt/software/hadoop-3.1.3/

简化脚本(好用的同步分发脚本)

预期目标:1、xsync + 文件名称 ,即可实现多个服务器完成同步操作。2、任何路径下都可以实现。

下载工具xsync:yum -y install xsync

编写脚本:

#!/bin/bash

#1. 判断参数个数

if $# -lt 1

then

echo Not Enough Arguement!

exit;

fi

#2. 遍历集群所有机器

for host in 服务器160 服务器161 服务器162

do

echo ==================== $host ====================

#3. 遍历所有目录,挨个发送

for file in $@

do

#4. 判断文件是否存在

if -e $file

then

#5. 获取父目录

pdir=(cd -P (dirname $file); pwd)

#6. 获取当前文件的名称

fname=(basename file)

ssh host "mkdir -p pdir"

rsync -av pdir/fname host:pdir

else

echo $file does not exists!

fi

Done

done

将脚本放到/bin目录下:mv xsync /bin

测试:在根目录下创建一个目录110,然后执行脚本,去其它服务器看是否已完成同步

建目录

mkdir 110

同步

rsync 110

同步环境变量

同步

rsync /etc/profile

生效

source /etc/profile

java

java -version

hadoop

hadoop version

相关推荐
向夏威夷 梦断明暄13 小时前
从架构特点到功能缺陷,重新认识分析型分布式数据库
数据库·分布式·架构
AAA@峥15 小时前
Ceph 集群配置管理完整指南
运维·数据库·分布式·ceph
心如鉄补16 小时前
分布式链路追踪系统之docker-compose安装skywalking
分布式·docker·skywalking
努力努力再努力wz16 小时前
【分布式系统与 RPC 框架系列】从单机瓶颈到远程调用:一文理解分布式架构与 RPC 原理
linux·网络·c++·分布式·网络协议·rpc·架构
ACP广源盛1392462567318 小时前
此芯 P1 AI BOX / AI NAS@ACP#IX8008、IX8024 应用场景与市场机会
大数据·人工智能·分布式·单片机·嵌入式硬件
网络工程小王2 天前
【HCIE-AI】12.deepspeed分布式并行训练进阶版
人工智能·pytorch·分布式·学习·昇腾·deepspeed
ACP广源盛139246256732 天前
国产算力互联IX8024@ACP#Kimi K3 开源后的端侧部署硬件架构分析
大数据·人工智能·分布式·单片机·嵌入式硬件
花生了什么事o2 天前
分布式 ID 生成方案:从数据库自增到雪花算法
数据库·分布式·算法
爱吃提升2 天前
python 分布式爬虫、爬虫合规与综合实战项目
分布式·爬虫·python
ZENERGY-众壹2 天前
跨品牌逆变器升级:华为锦浪德业 API 对接的 7 个坑
分布式·华为·数据归一化·光伏运维·逆变器api