Hadoop数据迁移distcp

Hadoop数据迁移distcp

准备工作

  1. 确认源集群(a),目标集群(b)
  2. 确认a集群的主节点和b集群的主节点
  3. 确认两个集群的网络相通
  4. 确认迁移模式(全量迁移还是增量迁移),这里选择全量迁移

迁移文件

  1. 迁移test目录下的文件至目标目录下
    命令:hadoop distcp -p -m 并行度 -bandwidth 带宽 源目录 目标目录
    示例:
bash 复制代码
hadoop distcp -p -m 5 -bandwidth 10 hdfs://源master:8020/test /

注意:源master为主namenode;命令行在目标主namenode上执行。

相关推荐
大大大大晴天13 小时前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云14 小时前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
演艺大赏15 小时前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
Aloudata16 小时前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售
躺柒16 小时前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图
回眸&啤酒鸭18 小时前
【回眸】Hy4 模型效果展示与能力评测大纲
大数据·人工智能·机器学习
starzy199018 小时前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
伞伞悦读19 小时前
【第86期】分类指标与错误成本对照的实验与排查
大数据·人工智能·机器学习
金融小师妹1 天前
多因子关联模型:黄金与铜价同步回落背后的金融变量及PPI传导分析
大数据·人工智能·金融
TDengine (老段)1 天前
TDengine IDMP 功能点—数据接入
大数据·数据库·物联网·时序数据库·tdengine·涛思数据