Hadoop数据迁移distcp

Hadoop数据迁移distcp

准备工作

  1. 确认源集群(a),目标集群(b)
  2. 确认a集群的主节点和b集群的主节点
  3. 确认两个集群的网络相通
  4. 确认迁移模式(全量迁移还是增量迁移),这里选择全量迁移

迁移文件

  1. 迁移test目录下的文件至目标目录下
    命令:hadoop distcp -p -m 并行度 -bandwidth 带宽 源目录 目标目录
    示例:
bash 复制代码
hadoop distcp -p -m 5 -bandwidth 10 hdfs://源master:8020/test /

注意:源master为主namenode;命令行在目标主namenode上执行。

相关推荐
黑十16 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend17 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
Databend18 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
上海潭龙东海科技有限公司18 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
尹文祥19 小时前
Apache Doris 2.1.10:存储结构、索引与查询优化详解
大数据
isfox1 天前
Hadoop 序列化:为什么不用 Java 自带 Serializable?
大数据
字节跳动数据平台1 天前
火山引擎 VeKnow 落地指南(下):从知识编译到价值渗透
大数据
AI源码1 天前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
玩美数据1 天前
海外市场数据分析驱动下的产业趋势演变与竞争格局深度解读
大数据·人工智能
AI源码1 天前
基于 Hadoop 和 Hive 的旅游景区数据的分析与可视化系统
hive·hadoop·旅游