开源大数据管理平台选型

随着CDH和HDP的闭源,还有国内信创需求,经过前期调研和后期实践,目前主要有两个产品满足要求:apache bigtop 和 DataSophon 符合要求。因为这两个产品都是完全开源的,自助可控。

一 apache bigtop

项目地址:https://bigtop.apache.org

Apache Bigtop 是一个开源项目,旨在提供一套完整的开源软件栈,用于构建、测试和部署大数据应用程序。该项目的主要目标是让用户可以轻松地构建、测试和部署 Apache Hadoop 生态系统中的各种组件和工具。

Apache Bigtop 提供了一套工具和框架,可以自动化地构建和测试大数据组件,包括 Hadoop、Hive、HBase、Pig、Spark 等等。同时,Apache Bigtop 还提供了一些示例和文档,帮助用户更好地理解和使用这些组件。

apache bigtop 已经在公司 x86 和 arm主机的 kylin操作系统下进行适配和验证,已经进入生产环境。

二 DataSophon

项目地址:https://datasophon.github.io/datasophon-website

新一代云原生大数据管家,致力于帮助用户快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。

目前只有这两个项目提供源码和编译文档,其他项目不提供源码的,无法自主可控,就不过多介绍了。。。

相关推荐
草莓熊Lotso20 小时前
Git 分支管理:从基础操作到协作流程(本地篇)
大数据·服务器·开发语言·c++·人工智能·git·sql
GIS数据转换器1 天前
GIS+大模型助力安全风险精细化管理
大数据·网络·人工智能·安全·无人机
hg01181 天前
今年前10个月天津进出口总值6940.2亿元
大数据
byte轻骑兵1 天前
时序数据库选型指南:从大数据视角看IoTDB的核心优势
大数据·时序数据库·iotdb
Leo.yuan1 天前
制造业都在说BOM,为什么BOM这么重要?
大数据·bom·企业数字化·数字赋能
能鈺CMS1 天前
内容付费系统全面解析:构建知识变现体系的最强工具(2025 SEO 深度专题)
大数据·人工智能·html
原神启动11 天前
云计算大数据——Nginx 实战系列(性能优化与防盗链配置)
大数据·nginx·云计算
周全全2 天前
基于ElasticSearch的语义检索学习-向量化数据、向量化相似度、向量化检索
大数据·学习·elasticsearch
可涵不会debug2 天前
时序数据库选型指南:大数据时代下Apache IoTDB的崛起之路
大数据·apache·时序数据库
WLJT1231231232 天前
藏在细节里的生活答案
大数据·生活