使用scp命令拷贝hadoop100中文件到其他虚拟机中

以下是使用 scp 命令将 hadoop100 主机中的文件拷贝到其他虚拟机的操作步骤(假设其他主机名为 hadoop101 、 hadoop102 ,系统为 Linux):

  1. 基本语法

bash

scp [选项] 源文件路径 目标主机用户名@目标主机IP:目标路径

  • 选项:

  • -r :递归拷贝目录(含子文件)。

  • -p :保留文件属性(如权限、时间戳)。

  • -i :指定私钥文件(用于 SSH 免密登录)。

  1. 示例场景:拷贝单个文件

从 hadoop100 拷贝文件到 hadoop101

bash

拷贝本地文件 /data/file.txt 到 hadoop101 的 /data/ 目录

scp /data/file.txt hadoop@hadoop101:/data/

若目标主机 IP 为 192.168.1.101(非主机名)

scp /data/file.txt hadoop@192.168.1.101:/data/

  • 首次连接需输入目标主机密码(若已配置 SSH 免密则无需输入)。
  1. 示例场景:拷贝目录(含子文件)

从 hadoop100 拷贝目录到 hadoop102

bash

scp -r /data/logs hadoop@hadoop102:/data/

  • -r 选项确保目录及其内容递归拷贝。
  1. 反向操作:从目标主机拉取文件到 hadoop100

bash

从 hadoop101 拉取 /data/report.csv 到 hadoop100 的 /tmp/ 目录

scp hadoop@hadoop101:/data/report.csv /tmp/

  1. 配置 SSH 免密登录(推荐)

为避免每次拷贝都输入密码,可配置集群内 SSH 互信:

  1. 在 hadoop100 生成密钥对:

bash

ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa

  1. 将公钥分发到目标主机(如 hadoop101、hadoop102):

bash

ssh-copy-id hadoop@hadoop101

ssh-copy-id hadoop@hadoop102

  1. 验证免密登录:

bash

ssh hadoop101 "echo Hello" # 应直接执行命令,无需密码

  1. 批量拷贝文件到多台主机(脚本示例)

创建脚本 scp_to_cluster.sh ,批量将文件拷贝到集群各节点:

bash

#!/bin/bash

files=("/data/config.txt" "/data/scripts") # 需拷贝的文件/目录列表

hosts=("hadoop101" "hadoop102") # 目标主机列表

for file in "${files[@]}"; do

for host in "${hosts[@]}"; do

echo "正在拷贝 {file} 到 {host}..."

scp -r {file} hadoop@{host}:/data/

done

done

  • 执行脚本前需赋予权限:

bash

chmod +x scp_to_cluster.sh

./scp_to_cluster.sh

关键注意事项

  1. 路径格式:
  • 源路径为 hadoop100 的本地路径,目标路径为远程主机的路径。

  • 目标路径需确保远程用户有写入权限(如使用 sudo 需调整命令)。

  1. 防火墙与端口:
  • 确保目标主机开启 SSH 服务(端口 22),若关闭需手动开启:

bash

sudo systemctl start sshd # CentOS/RHEL

sudo ufw allow ssh # Ubuntu(防火墙允许 SSH)

  1. 大数据文件优化:
  • 若文件较大,可使用 -C 选项压缩传输:

bash

scp -C /data/bigfile.tar.gz hadoop@hadoop101:/data/

通过以上步骤,可高效利用 scp 实现集群内文件同步,结合 SSH 免密和脚本可进一步提升自动化程度。

相关推荐
望获linux7 分钟前
【Linux基础知识系列】第六十四篇 - 了解Linux的硬件架构
linux·运维·服务器·开发语言·数据库·操作系统·嵌入式软件
全栈小517 分钟前
【数据库】使用Sql Server将分组后指定字段的行数据转为一个字段显示,并且以逗号隔开每个值,收藏不迷路
数据库·sql server
JohnYan37 分钟前
工作笔记 - 一种业务信息汇报机制的设计和实现
数据库·后端·postgresql
sq8001 小时前
EFCore ORM 数据库数据表迁移
数据库·后端·orm
小徐不徐说2 小时前
深入理解 Qt 信号与槽机制的底层逻辑
数据库·c++·qt·面试
一只小小汤圆2 小时前
qt 心跳包
服务器·数据库·qt
巴里巴气2 小时前
MongoDB事务和隔离级别的原理
数据库·mongodb
什么半岛铁盒2 小时前
MySQL的常用数据类型详解
linux·数据库·mysql·adb
rannn_1113 小时前
【MySQL学习|黑马笔记|Day1】数据库概述,SQL|通用语法、SQL分类、DDL
数据库·后端·学习·mysql
mrbone113 小时前
C++-关于协程的一些思考
开发语言·数据库·c++·c++20·协程·异步·coroutines