Alluxio数据流转方案在联通智网的应用

分享嘉宾

陈得泳 - 中国联通大数据平台 SRE 工程师,致力于基于开源生态构建稳定、高效、安全、低成本的大数据集群。

观看完整分享回放

业务背景

  • 统一底座和安全基座位于不同IDC;
  • 统一底座:承接 O 域全域网络数据,包括移动网信令、告警、故障、资源以及固网数据等基础数据加工的大数据集群,位于郑州 IDC;
  • 安全基座:是应对网络安全专项支撑的大数据分析平台,位于呼和 IDC。

    统一底座加工后的DNS/NetFlow等固网基础数据,支撑安全基座数据分析需求。

数据规律

  • O 域统一底座每小时生产数据,存储于 HDFS 集群,需要在一小时内传输至安全基座的 HDFS集群,供业务加工,两套大数据平台都有自己独立的 KDC;
  • 每小时的数据呈规律性波动,日传输数据总量达 310TB,平均每小时约13TB(波峰 16TB,波谷 4.6TB)。

业务挑战

310TB 的数据分布在 6张 Hive 表,此数据同步任务吞吐性能受限于以下挑战:

  • 带宽受限:因为没有单独的专线,两个 IDC 之间的数据传输复用了共享的带宽,存在 15GB/s 限制 ,避免数据传输任务影响共享带宽中其它跨域交互的业务; KDC 互信:
  • O域统一底座和安全基座是两套独立的大数据平台,为了避免直接交互,均配置了独立的KDC,KDC 之间不能配置互信,所以需要实现跨KDC数据传输;
  • 数据校验:每日庞大的数据传输量及众多的任务,为确保数据完整性,采取强化一致性策略、实施严格数据校验机制,以及增量同步技术,用来提升系统的可靠性与数据准确性。

历史方案

历史同步方案基于 Hadoop 的 DistCP 实现,在统一底座和安全基座集群之间建设一套中转集群包含:

  • 非 Kerberos HDFS 作为中转集群;
  • 与源端同 KDC Realm 的 YARN-SRC;
  • 同目标端同 KDC Realm 的YARN-DST。

方案的实现过程:

  1. 使用 YARN-SRC 将统一底座的数据同步至中转集群;
  2. 使用 YARN-DST 将中转集群的数据同步至安全基座;
  3. 配套调度任务和监控告警。

历史方案的缺陷

  • 数据中转落盘增加时延:数据从 YARN-SRC 到 YARN-DST 的传输过程中,数据会在非 Kerberos HDFS集群落地一次,然后再上传至目标 HDFS。这种分步传输增加了额外的时延。同时,由于中间的本地 HDFS集群存在性能瓶颈,导致整体数据流转速度变慢;
  • 数据中转存在安全风险:非 Kerberos HDFS集群,无身份认证仍可访问,存在数据泄漏的安全风险;
  • 带宽与硬件限制性能:数据吞吐性能受带宽和本地非Kerberos HDFS集群硬件资源的双重制约。带宽瓶颈使得数据在不同节点之间传输时出现延迟。同时,本地 HDFS集群的硬件资源限制了并发处理能力(任务量翻倍),无法充分有效的支撑大量数据同时进行读写。

数据领域的"菜鸟裹裹" --- Alluxio数据流转方案

Alluxio 数据流转方案核心优势

  1. 提供跨多数据中心和多套 KDC 异构存储集群的统一视图;
  2. 具备高吞吐、高可用、高稳定性的数据流转,包括存储拉取、缓存及集群间的数据分发、迁移和拷贝;
  3. 传输任务包含:失败重传、校验不通过自动重新提交、文件去重等能力;
  4. 具备数据校验功能,增强数据完整性;
  5. 配备丰富易用的运维和监控工具。

具体方案应用

将本地 HDFS 中转方案替换为 Alluxio 数据流转方案后,将原有从源 HDFS 拉取到中转 HDFS 集群,和从中转 HDFS 集群上传到目标 HDFS 集群的两次传输动作,优化成从源到目标的直接传输,有如下显著的提升:

  1. 减少了中间步骤,大大提高了数据传输效率,减少了性能瓶颈点;
  2. 提升了带宽利用率,在数据波峰时,可以接近15GB/s的带宽上限,相较于原有方案带来约 3x 的性能提升;
  3. 实现双 KDC 交互,避免数据落盘,降低数据泄露的安全风险;
  4. 提供了丰富的数据分发管控功能和工具。

任务流程

  1. 配置任务自动调度,调度前自动扫描;
  2. 执行前会比对上下游 HDFS 数据是否一致,如果不一致,则进入下一步;
  3. 执行前判断上游是否正在对分区进行数据写入,如果没有,则进行分区数据传输任务;
  4. 任务失败或者存在临时目录时会自动等待下次任务执行。

生产效果

基于 Alluxio 数据流转方案的带宽使用情况展示:

从带宽监控来看,12:00--00.00 带宽使用率较高,数据量相对较大,但能保证数据在1小时内传输完成;00.00--10.00 数据量相对较小,30 分钟左右执行完,带宽峰值 15GB/s(35个节点的总带宽),基本上能够打满带宽,说明传输速率相对稳定。

在提供高性能数据下发能力的同时,Alluxio 还提供:

  • 数据下发任务提交、运维的管理工具;
  • 数据下发任务校验功能;
  • 在下发任务部分文件失败、或者校验不通过时,能重新执行下发任务,同时自动带去重能力(已经成功下发的文件自动跳过,不重复进行下发,浪费带宽)。

Alluxio 数据流转方案带来的价值

  1. 性能提升显著:跨省机房定时数据传输任务吞吐提升 3 倍以上;
  2. 安全风险规避:满足多个不互信 KDC 下 HDFS集群接入,规避数据泄露风险;
  3. 服务与工具优化:提供高可用、可扩展的能力及丰富管理、运维和监控工具;
  4. 成本与复杂度降低:相比原有方案,降低硬件、运维人力成本及复杂度。

--- the end ---

相关推荐
卧式纯绿8 分钟前
每日文献(八)——Part one
人工智能·yolo·目标检测·计算机视觉·目标跟踪·cnn
巷95514 分钟前
OpenCV图像形态学:原理、操作与应用详解
人工智能·opencv·计算机视觉
遇到困难睡大觉哈哈16 分钟前
Git推送错误解决方案:`rejected -> master (fetch first)`
大数据·git·elasticsearch
Roam-G25 分钟前
Elasticsearch 证书问题解决
大数据·elasticsearch·jenkins
深蓝易网43 分钟前
为什么制造企业需要用MES管理系统升级改造车间
大数据·运维·人工智能·制造·devops
xiangzhihong81 小时前
Amodal3R ,南洋理工推出的 3D 生成模型
人工智能·深度学习·计算机视觉
狂奔solar1 小时前
diffusion-vas 提升遮挡区域的分割精度
人工智能·深度学习
青云交1 小时前
Java 大视界 -- Java 大数据在智能电网电力市场交易数据分析与策略制定中的关键作用(162)
java·大数据·数据分析·交易策略·智能电网·java 大数据·电力市场交易
资源大全免费分享1 小时前
MacOS 的 AI Agent 新星,本地沙盒驱动,解锁 macOS 操作新体验!
人工智能·macos·策略模式
宝哥大数据1 小时前
Flink内存模型--flink1.19.1
大数据·flink