Hadoop数据迁移distcp

Hadoop数据迁移distcp

准备工作

  1. 确认源集群(a),目标集群(b)
  2. 确认a集群的主节点和b集群的主节点
  3. 确认两个集群的网络相通
  4. 确认迁移模式(全量迁移还是增量迁移),这里选择全量迁移

迁移文件

  1. 迁移test目录下的文件至目标目录下
    命令:hadoop distcp -p -m 并行度 -bandwidth 带宽 源目录 目标目录
    示例:
bash 复制代码
hadoop distcp -p -m 5 -bandwidth 10 hdfs://源master:8020/test /

注意:源master为主namenode;命令行在目标主namenode上执行。

相关推荐
龙腾AI白云1 小时前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
starzy19903 小时前
Structured Streaming 案例剖析:一个 8 万 QPS 实时大屏的完整落地与三次线上事故复盘
大数据·spark
大大大大晴天13 小时前
浅聊维度建模中的星型模型与雪花模型
大数据
数字新视界18 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天18 小时前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城20 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk55520 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
培培说证20 小时前
大数据与会计专业性价比高的证书有哪些?
大数据
伞伞悦读1 天前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
老余说AI1 天前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能