开源大数据管理平台选型

随着CDH和HDP的闭源,还有国内信创需求,经过前期调研和后期实践,目前主要有两个产品满足要求:apache bigtop 和 DataSophon 符合要求。因为这两个产品都是完全开源的,自助可控。

一 apache bigtop

项目地址:https://bigtop.apache.org

Apache Bigtop 是一个开源项目,旨在提供一套完整的开源软件栈,用于构建、测试和部署大数据应用程序。该项目的主要目标是让用户可以轻松地构建、测试和部署 Apache Hadoop 生态系统中的各种组件和工具。

Apache Bigtop 提供了一套工具和框架,可以自动化地构建和测试大数据组件,包括 Hadoop、Hive、HBase、Pig、Spark 等等。同时,Apache Bigtop 还提供了一些示例和文档,帮助用户更好地理解和使用这些组件。

apache bigtop 已经在公司 x86 和 arm主机的 kylin操作系统下进行适配和验证,已经进入生产环境。

二 DataSophon

项目地址:https://datasophon.github.io/datasophon-website

新一代云原生大数据管家,致力于帮助用户快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。

目前只有这两个项目提供源码和编译文档,其他项目不提供源码的,无法自主可控,就不过多介绍了。。。

相关推荐
YangYang9YangYan2 分钟前
2025年金融专业人士职业认证发展路径分析
大数据·人工智能·金融
AIbase20243 分钟前
GEO优化服务:技术演进如何重塑搜索优化行业新范式
大数据·人工智能
励志成为糕手36 分钟前
Hadoop进程:深入理解分布式计算引擎的核心机制
大数据·hadoop·分布式·mapreduce·yarn
武子康1 小时前
大数据-92 Spark 深入解析 Spark Standalone 模式:组件构成、提交流程与性能优化
大数据·后端·spark
像豆芽一样优秀1 小时前
Hive和Flink数据倾斜问题
大数据·数据仓库·hive·hadoop·flink
TMT星球1 小时前
发布工业智能体,云从科技打造制造业AI“运营大脑”
大数据·人工智能·科技
LB21122 小时前
SQL隐式链接显式连接
大数据·数据库·sql
攻城狮7号3 小时前
2025时序数据库选型,以IoTDB为主从架构基因到AI赋能来解析
大数据·物联网·时序数据库·apache iotdb·时序大模型·sql mcp·ainode
金融小师妹5 小时前
基于哈塞特独立性表态的AI量化研究:美联储政策独立性的多维验证
大数据·人工智能·算法
打码人的日常分享12 小时前
运维服务方案,运维巡检方案,运维安全保障方案文件
大数据·运维·安全·word·安全架构