0.大数据软件版本参考

大数据软件版本参考

来源:google dataproc 2.2.x

版本明细

因为google dataproc版本在不断更新,这里保存一份,选择最低版本。

组件 2.27-debian12-ubuntu22-rocky9 (2025/12/05) 2.27-debian12-ubuntu22-rocky9 (2025/11/22) 2.27-debian12-ubuntu22-rocky9 (2025/10/28) 2.27-debian12-ubuntu22-rocky9 (2025/10/20) 2.26-debian12-ubuntu22-rocky9 (2025/10/14)
Apache Atlas 2.2.0 2.2.0 2.2.0 2.2.0 2.2.0
Apache Flink 1.17.0 1.17.0 1.17.0 1.17.0 1.17.0
Apache Hadoop 3.3.6 3.3.6 3.3.6 3.3.6 3.3.6
Apache Hive 3.1.3 3.1.3 3.1.3 3.1.3 3.1.3
Apache Hive WebHCat 3.1.3 3.1.3 3.1.3 3.1.3 3.1.3
Apache Hudi 0.15.0 0.15.0 0.15.0 0.15.0 0.15.0
Apache Iceberg 1.6.1 1.6.1 1.6.1 1.6.1 1.6.1
Apache Kafka 3.1.0 3.1.0 3.1.0 3.1.0 3.1.0
Apache Pig 0.18.0-SNAPSHOT 0.18.0-SNAPSHOT 0.18.0-SNAPSHOT 0.18.0-SNAPSHOT 0.18.0-SNAPSHOT
Apache Spark 3.5.3 3.5.3 3.5.3 3.5.3 3.5.3
Apache Sqoop 1.5.0-SNAPSHOT 1.5.0-SNAPSHOT 1.5.0-SNAPSHOT 1.5.0-SNAPSHOT 1.5.0-SNAPSHOT
Apache Tez 0.10.2 0.10.2 0.10.2 0.10.2 0.10.2
BigQuery 连接器 0.34.1 0.34.1 0.34.1 0.34.1 0.34.1
Cloud Storage 连接器 3.0.15 3.0.15 3.0.13 3.0.13 3.0.10
Conscrypt 2.5.2 2.5.2 2.5.2 2.5.2 2.5.2
Delta Lake 3.2.0 3.2.0 3.2.0 3.2.0 3.2.0
Docker 24.0 24.0 24.0 24.0 24.0
Hue 4.11.0 4.11.0 4.11.0 4.11.0 4.11.0
Java 11 11 11 11 11
JupyterLab 3.6 3.6 3.6 3.6 3.6
Oozie 5.2.1 5.2.1 5.2.1 5.2.1 5.2.1
Python Python 3.11 (conda 23.11.0) Python 3.11 (conda 23.11.0) Python 3.11 (conda 23.11.0) Python 3.11 (conda 23.11.0) Python 3.11 (conda 23.11.0)
R 4.3 4.3 4.3 4.3 4.3
Ranger 2.4.0 2.4.0 2.4.0 2.4.0 2.4.0
Scala 2.12.18 2.12.18 2.12.18 2.12.18 2.12.18
Solr 9.2.1 9.2.1 9.2.1 9.2.1 9.2.1
Trino 432 432 432 432 432
Zeppelin 0.10.1 0.10.1 0.10.1 0.10.1 0.10.1
Zookeeper 3.8.3 3.8.3 3.8.3 3.8.3 3.8.3
相关推荐
武子康3 小时前
大数据-240 离线数仓 - 广告业务 Hive ADS 实战:DataX 将 HDFS 分区表导出到 MySQL
大数据·后端·apache hive
字节跳动数据平台1 天前
5000 字技术向拆解 | 火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
武子康1 天前
大数据-239 离线数仓 - 广告业务实战:Flume 导入日志到 HDFS,并完成 Hive ODS/DWD 分层加载
大数据·后端·apache hive
字节跳动数据平台2 天前
代码量减少 70%、GPU 利用率达 95%:火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
得物技术2 天前
深入剖析Spark UI界面:参数与界面详解|得物技术
大数据·后端·spark
武子康2 天前
大数据-238 离线数仓 - 广告业务 Hive分析实战:ADS 点击率、购买率与 Top100 排名避坑
大数据·后端·apache hive
武子康3 天前
大数据-237 离线数仓 - Hive 广告业务实战:ODS→DWD 事件解析、广告明细与转化分析落地
大数据·后端·apache hive
大大大大晴天3 天前
Flink生产问题排障-Kryo serializer scala extensions are not available
大数据·flink
武子康5 天前
大数据-236 离线数仓 - 会员指标验证、DataX 导出与广告业务 ODS/DWD/ADS 全流程
大数据·后端·apache hive
武子康6 天前
大数据-235 离线数仓 - 实战:Flume+HDFS+Hive 搭建 ODS/DWD/DWS/ADS 会员分析链路
大数据·后端·apache hive