开源大数据管理平台选型

随着CDH和HDP的闭源,还有国内信创需求,经过前期调研和后期实践,目前主要有两个产品满足要求:apache bigtop 和 DataSophon 符合要求。因为这两个产品都是完全开源的,自助可控。

一 apache bigtop

项目地址:https://bigtop.apache.org

Apache Bigtop 是一个开源项目,旨在提供一套完整的开源软件栈,用于构建、测试和部署大数据应用程序。该项目的主要目标是让用户可以轻松地构建、测试和部署 Apache Hadoop 生态系统中的各种组件和工具。

Apache Bigtop 提供了一套工具和框架,可以自动化地构建和测试大数据组件,包括 Hadoop、Hive、HBase、Pig、Spark 等等。同时,Apache Bigtop 还提供了一些示例和文档,帮助用户更好地理解和使用这些组件。

apache bigtop 已经在公司 x86 和 arm主机的 kylin操作系统下进行适配和验证,已经进入生产环境。

二 DataSophon

项目地址:https://datasophon.github.io/datasophon-website

新一代云原生大数据管家,致力于帮助用户快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。

目前只有这两个项目提供源码和编译文档,其他项目不提供源码的,无法自主可控,就不过多介绍了。。。

相关推荐
AI科技星2 分钟前
算子数学|独立完整学科章节(百条原创公式· ROOT传世定稿)
大数据·算法·机器学习·数学建模·数据挖掘·量子计算
菜鸟小码2 分钟前
Hadoop大数据时代的底座和基石
大数据·hadoop·分布式
隐于花海,等待花开16 分钟前
18.TRUNC / LAST_DAY / NEXT_DAY 函数深度解析
大数据·hive
独隅29 分钟前
Git误操作急救手册
大数据·git·elasticsearch
隐于花海,等待花开30 分钟前
17.DATE_FORMAT 函数深度解析
大数据·hive
珠海西格电力1 小时前
零碳园区管理系统如何守护能源与数据安全?
大数据·人工智能·分布式·架构·能源
徐礼昭|商派软件市场负责人1 小时前
2026年“服饰行业全渠道OMS系统”库存/订单运营策略:以“一盘货+分渠分级”驱动销售最大化
大数据·人工智能·oms系统·服饰行业库存管理
试剂界的爱马仕1 小时前
AI学习实现:如何给基金实时估值?
大数据·人工智能·科技·学习·机器学习
隐于花海,等待花开2 小时前
15.TO_DATE 函数深度解析
大数据·hive
小的~~2 小时前
排查Flink状态膨胀导致Checkpoint超时的问题
大数据·flink