浙江省大数据Hudi配置

Hudi部署

完成解压安装及配置后使用maven对hudi进行构建(spark3.1,scala-2.12),使用spark-shell操作hudi(启动时若需要hudi-spark3.1-bundle_2.12-0.12.0.jar,该包已放置在/opt/software下,若不需要请忽略),将spark-shell启动命令复制并粘贴至对应报告中;使用spark-shell运行下面给到的案例,并将最终查询结果截图粘贴至对应报告中。

Scala 复制代码
 import org.apache.hudi.QuickstartUtils._
 import scala.collection.JavaConversions._
 import org.apache.spark.sql.SaveMode.
 import org.apache.hudi.DataSourceReadOptions._
 import org.apache.hudi.DataSourceWriteOptions._
 import org.apache.hudi.config.HoodieWriteConfig._
 import org.apache.hudi.common.model.HoodieRecord
 ​
 val tableName = "hudi_trips_cow"
 val basePath = "file:///tmp/hudi_trips_cow"
 val dataGen = new DataGenerator
 ​
 val inserts = convertToStringList(dataGen.generateInserts(10))
 val df = spark.read.json(spark.sparkContext.parallelize(inserts, 2))
 df.write.format("hudi").
   options(getQuickstartWriteConfigs).
   option(PRECOMBINE_FIELD_OPT_KEY, "ts").
   option(RECORDKEY_FIELD_OPT_KEY, "uuid").
   option(PARTITIONPATH_FIELD_OPT_KEY, "partitionpath").
   option(TABLE_NAME, tableName).
   mode(Overwrite).
   save(basePath)
 ​
 val tripsSnapshotDF = spark.read.format("hudi").load(basePath + "/*/*/*/*")
 tripsSnapshotDF.createOrReplaceTempView("hudi_trips_snapshot")
 spark.sql("select fare, begin_lon, begin_lat, ts from  hudi_trips_snapshot where fare > 20.0").show()

操作步骤:

1 将编译完成与spark集成的jar包,集成后使用spark-shell操作hudi,启动spark-shell。

bash 复制代码
 spark-shell \
   --jars /opt/software/hudi-spark3.1-bundle_2.12-0.12.0.jar \
   --conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer' \
   --conf 'spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension'

2 在spark-shell使用:paste编译多条语句按下ctrl+D执行多行语句

复制代码
 :paste
Scala 复制代码
 // 导入依赖包
 import org.apache.hudi.QuickstartUtils._
 import scala.collection.JavaConversions._
 import org.apache.spark.sql.SaveMode._
 import org.apache.hudi.DataSourceReadOptions._
 import org.apache.hudi.DataSourceWriteOptions._
 import org.apache.hudi.config.HoodieWriteConfig._
 import org.apache.hudi.common.model.HoodieRecord
 ​
 // 定义Hudi映射到的文件目录,以及存储表的名称
 val tableName = "hudi_trips_cow"
 val basePath = "file:///tmp/hudi_trips_cow"
 ​
 // 创建数据生成器实例
 val dataGen = new DataGenerator
 ​
 // 使用Hudi的数据生成器生成10条JSON数据
 val inserts = convertToStringList(dataGen.generateInserts(10))
复制代码
 ctrl+D           //执行多行语句

3 将10条JSON数据加载到DataFrame中,并写入hudi,实现一个简单的ETL处理

复制代码
 :paste
Scala 复制代码
 // 读取json数据到DataFrame中
 val df = spark.read.json(spark.sparkContext.parallelize(inserts, 2))
 ​
 // 将DataFrame写入数据湖
 df.write.format("hudi").
   options(getQuickstartWriteConfigs).
   option(PRECOMBINE_FIELD_OPT_KEY, "ts").
   option(RECORDKEY_FIELD_OPT_KEY, "uuid").
   option(PARTITIONPATH_FIELD_OPT_KEY, "partitionpath").
   option(TABLE_NAME, tableName).
   mode(Overwrite).
   save(basePath)
复制代码
 ctrl+D           //执行多行语句

4 将10条JSON数据加载到DataFrame中,并写入hudi,实现一个简单的ETL处理

复制代码
 :paste
Scala 复制代码
 // 从数据湖中读取数据到DataFrame中
 val tripsSnapshotDF = spark.read.format("hudi").load(basePath + "/*/*/*/*")
 ​
 // 注册临时表
 tripsSnapshotDF.createOrReplaceTempView("hudi_trips_snapshot")
 ​
 // 执行SQL查询,并显示
 spark.sql("select fare, begin_lon, begin_lat, ts from  hudi_trips_snapshot where fare > 20.0").show()
复制代码
 ctrl+D           //执行多行语句
相关推荐
阿里云大数据AI技术1 小时前
云栖实录 | 通义实验室基于MaxCompute进行大模型数据管理及处理
大数据·人工智能
yumgpkpm2 小时前
CMP (类ClouderaCDP7.3(404次编译) )华为鲲鹏Aarch64(ARM)信创环境多个mysql数据库汇聚的操作指南
大数据·hive·hadoop·zookeeper·big data·cloudera
CryptoPP3 小时前
获取越南股票市场列表(包含VN30成分股)实战指南
大数据·服务器·数据库·区块链
跨境小新3 小时前
TG弹出“只能给双向联系人发送消息”的飞机双向限制怎么办?
大数据
数智顾问4 小时前
破解 Shuffle 阻塞:Spark RDD 宽窄依赖在实时特征工程中的实战与未来
大数据·分布式·spark
Giser探索家5 小时前
遥感卫星升轨 / 降轨技术解析:对图像光照、对比度的影响及工程化应用
大数据·人工智能·算法·安全·计算机视觉·分类
lisw055 小时前
数字化科技简化移民流程的 5 种方式
大数据·人工智能·机器学习
NewCarRen6 小时前
基于自动驾驶仿真软件的交通事故档案建模与分析
大数据·汽车功能安全
JAVA学习通6 小时前
Replication(下):事务,一致性与共识
大数据·分布式·算法
vivo互联网技术7 小时前
vivo HDFS EC大规模落地实践
大数据·hdfs·大数据计算与存储·erasure coding