spark sql实践开发后端引擎

写在前面:

一转眼的时间,2024年了,翻看了一下博客首页,已有8年的码领,自从去年开启博客关注才能预览,至今已有1500个粉丝,比其他短视频平台的粉丝还要多,经年累月,8年一瞬,在码代码的道路上越来越不快乐,为何不快乐,因为寻觅不到快乐的源泉。

------------- "何以解忧,唯有暴富"

需求

开发一个系统,主要是将数仓中治理完用于检索的数据灌入​Elasticsearch​中,一般情况,开源的一些系统都可以满足情况,包括自己编写代码实现。系统开发主要用于数据产品的产品化,需要开发界面和后续开发完成软著的申请

设计思路

使用spark sql进行处理,之前也调研了抽象语法树生成代码的方式,也能实现功能,相对于sparksql方式稍显复杂,spark sql只需要将sql 字符串传入,生成临时试图,多表关联也可以通过参数传入,多表join将sql传入,并将需要用到的配置以参数方式传入,这样jar报的编码只需要对应一个模板主类入口,其他的参数从前端页面上配置传入。

主要代码

Scala 复制代码
object DataToEs {
  def main(args: Array[String]): Unit = {

    val table_name = args(0)
    val filter_expr = args(1)
    val primary_query = args(2)
    val patient_join = args(3)
    val where_expr = args(4)
    val sql_str = args(5)
    val es_index = args(6)

    val spark: SparkSession = SparkSession....

    val df: DataFrame = spark.read.jdbc(JdbcConfig.URL, SchemaConst.schemaName + table_name, JdbcConfig.getProperties)

   
    df.createOrReplaceTempView(table_name)

    val sql_df: DataFrame = spark.sql(sql_str)
    sql_df.printSchema()

    sql_df.show()
    val es_df_no_null = sql_df.filter(where_expr)
    es_df_no_null.saveToEs(es_index, EsConfig.es_index_routing_patient_id_config)
    spark.stop()
  }
}

多表join 多几个 df.createOrReplaceTempView(table_name) ,将代码打成jar包,系统前端页面参数通过服务端传入并提交执行在大数据集群节点

相关推荐
深空数字孪生1 小时前
储能调峰新实践:智慧能源平台如何保障风电消纳与电网稳定?
大数据·人工智能·物联网
百胜软件@百胜软件2 小时前
胜券POS:打造智能移动终端,让零售智慧运营触手可及
大数据
摩羯座-185690305943 小时前
Python数据可视化基础:使用Matplotlib绘制图表
大数据·python·信息可视化·matplotlib
在未来等你3 小时前
Kafka面试精讲 Day 13:故障检测与自动恢复
大数据·分布式·面试·kafka·消息队列
jiedaodezhuti3 小时前
Flink通讯超时问题深度解析:Akka AskTimeoutException解决方案
大数据·flink
庄小焱3 小时前
大数据存储域——Kafka实战经验总结
大数据·kafka·大数据存储域
JAVA不会写4 小时前
在Mybatis plus中如何使用自定义Sql
数据库·sql
IT 小阿姨(数据库)4 小时前
PgSQL监控死元组和自动清理状态的SQL语句执行报错ERROR: division by zero原因分析和解决方法
linux·运维·数据库·sql·postgresql·centos
zskj_qcxjqr5 小时前
告别传统繁琐!七彩喜艾灸机器人:一键开启智能养生新时代
大数据·人工智能·科技·机器人
每日新鲜事5 小时前
Saucony索康尼推出全新 WOOOLLY 运动生活羊毛系列 生动无理由,从专业跑步延展运动生活的每一刻
大数据·人工智能