Hadoop数据迁移distcp

Hadoop数据迁移distcp

准备工作

  1. 确认源集群(a),目标集群(b)
  2. 确认a集群的主节点和b集群的主节点
  3. 确认两个集群的网络相通
  4. 确认迁移模式(全量迁移还是增量迁移),这里选择全量迁移

迁移文件

  1. 迁移test目录下的文件至目标目录下
    命令:hadoop distcp -p -m 并行度 -bandwidth 带宽 源目录 目标目录
    示例:
bash 复制代码
hadoop distcp -p -m 5 -bandwidth 10 hdfs://源master:8020/test /

注意:源master为主namenode;命令行在目标主namenode上执行。

相关推荐
boonya2 小时前
Elasticsearch核心原理与面试总结
大数据·elasticsearch·面试
TDengine (老段)3 小时前
TDengine 时间函数 WEEKDAY() 用户手册
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
LQ深蹲不写BUG5 小时前
ElasticSearch 基础内容深度解析
大数据·elasticsearch·搜索引擎
Debug_Snail7 小时前
【营销策略算法】关联规则学习-购物篮分析
大数据·人工智能
BYSJMG8 小时前
计算机毕设大数据方向:基于Spark+Hadoop的餐饮外卖平台数据分析系统【源码+文档+调试】
大数据·hadoop·分布式·python·spark·django·课程设计
java水泥工9 小时前
基于Echarts+HTML5可视化数据大屏展示-茶叶种植大数据溯源平台
大数据·echarts·html5
华略创新10 小时前
标准化与定制化的平衡艺术:制造企业如何通过灵活配置释放系统价值
大数据·人工智能·制造·crm·管理系统·erp·企业管理
半夏陌离12 小时前
SQL 实战指南:电商订单数据分析(订单 / 用户 / 商品表关联 + 统计需求)
java·大数据·前端
成长之路51413 小时前
【面板数据】各省制造业出口技术复杂度数据集(2010-2023年)
大数据