跟进一下目前最新的大数据技术

搭建最新平台

40C64G服务器,搭建3节点kvm,8C12G。

apache-hive-4.0.1-bin

apache-tez-0.10.4-bin

flink-1.20.1

hadoop-3.4.1

hbase-2.6.2

jdk-11.0.27+6

jdk8u452-b09 jdk8终于可以不用了

spark-3.5.5-bin-hadoop3

zookeeper-3.9.3

trino-server-475

iceberg

paimon

结合这些组件,可以加深目前大厂公开实践技术的理解,让大脑能有深刻触感 aha。大数据技术发展挺快的,湖仓一体,流批一体,存算分离,数据治理等等。之前理解过Clickhouse设计,在'数据库'设计方面这里技术都是相通的。多看看大厂公开实践技术文章。

顺便搞一下k8s