开源大数据管理平台选型

随着CDH和HDP的闭源,还有国内信创需求,经过前期调研和后期实践,目前主要有两个产品满足要求:apache bigtop 和 DataSophon 符合要求。因为这两个产品都是完全开源的,自助可控。

一 apache bigtop

项目地址:https://bigtop.apache.org

Apache Bigtop 是一个开源项目,旨在提供一套完整的开源软件栈,用于构建、测试和部署大数据应用程序。该项目的主要目标是让用户可以轻松地构建、测试和部署 Apache Hadoop 生态系统中的各种组件和工具。

Apache Bigtop 提供了一套工具和框架,可以自动化地构建和测试大数据组件,包括 Hadoop、Hive、HBase、Pig、Spark 等等。同时,Apache Bigtop 还提供了一些示例和文档,帮助用户更好地理解和使用这些组件。

apache bigtop 已经在公司 x86 和 arm主机的 kylin操作系统下进行适配和验证,已经进入生产环境。

二 DataSophon

项目地址:https://datasophon.github.io/datasophon-website

新一代云原生大数据管家,致力于帮助用户快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。

目前只有这两个项目提供源码和编译文档,其他项目不提供源码的,无法自主可控,就不过多介绍了。。。

相关推荐
GZ_TOGOGO16 分钟前
【2024最新】华为HCIE认证考试流程
大数据·人工智能·网络协议·网络安全·华为
狼头长啸李树身2 小时前
眼儿媚·秋雨绵绵窗暗暗
大数据·网络·服务发现·媒体
Json_181790144803 小时前
商品详情接口使用方法和对接流程如下
大数据·json
Data 3173 小时前
Hive数仓操作(十七)
大数据·数据库·数据仓库·hive·hadoop
bubble小拾7 小时前
ElasticSearch高级功能详解与读写性能调优
大数据·elasticsearch·搜索引擎
ZOHO项目管理软件7 小时前
EDM平台大比拼 用户体验与营销效果双重测评
大数据
HyperAI超神经8 小时前
Meta 首个多模态大模型一键启动!首个多针刺绣数据集上线,含超 30k 张图片
大数据·人工智能·深度学习·机器学习·语言模型·大模型·数据集
Hello.Reader10 小时前
TopK算法在大数据重复数据分析中的应用与挑战
大数据·算法·数据分析
数据龙傲天10 小时前
1688商品API接口:电商数据自动化的新引擎
java·大数据·sql·mysql
Elastic 中国社区官方博客10 小时前
Elasticsearch:使用 LLM 实现传统搜索自动化
大数据·人工智能·elasticsearch·搜索引擎·ai·自动化·全文检索