Spark_Oracle_I_通过jdbc读取oracle程序报错invalid character

问题背景:

我原先是通过我么api直接读取的oracle,现在由于要并行读取这个oracle数据库表数据,因此采用jdbc的方式,一开始我把sql变成query直接查,所以报上面的问题。部分样例代码如下

复制代码
val date = "2024/07/01" 

val query = s"SELECT * FROM your_table WHERE stat_date = TO_DATE('$date', 'YYYY/MM/DD')"

val df = spark.read
  .format("jdbc")
  .option("url", url)
  .option("dbtable", "user.table1")
  .option("user", user)
  .option("password", password)
  .option("numPartitions", "8") 
  .option("query", query) //
  .load()

这样是不行的,不能加query

解决

不加query,直接在这里整出全表数据,然后再filter一下我们要的数据

复制代码
  .option("dbtable", "user.table1")

思考

其实一开始就是想要快一点读取oracle表数据,但是发现设置这个并行度和我调我们自己搞得类时间是差不多的。效率我在优化一下吧,看看时间怎么样

相关推荐
starzy19908 小时前
SparkSQL 数据源与底层架构深度剖析
大数据·分布式·架构·spark
roman_日积跬步-终至千里15 小时前
【Spark与SQL网关(1)】Spark 提交模式与 Spark Thrift Server:到底在“提交”什么
大数据·sql·spark
starzy19901 天前
Spark 核心之 Spark-SortShuffle 原理深度剖析
大数据·spark
用户3610588626122 天前
Spark 核心之 Spark 内存管理深度剖析
大数据·spark
乌恩大侠2 天前
【AI-RAN】硬件产品:DELL 前传交换机
人工智能·spark·aerial·o-ru·ai-ran
starzy19902 天前
Spark 核心之自定义累加器以及版本对比变化深度剖析
大数据·ajax·spark
用户3610588626123 天前
Spark 核心之 Spark-SortShufflebypass 原理深度剖析
大数据·spark
starzy19903 天前
Spark 核心之二次排序、分组取 TopN 优化分析
大数据·分布式·spark
乌恩大侠4 天前
图解 AI-RAN开发需要哪些软硬件:O-RU、DGX Spark、Sionna与Aerial
人工智能·spark·o-ru·ai-ran
阿里云大数据AI技术4 天前
阿里云 EMR Daft AI Function:用 DataFrame 表达式搞定大模型调用与多模态向量化
人工智能·spark