Spark_Oracle_I_通过jdbc读取oracle程序报错invalid character

Matrix702024-07-26 21:49

问题背景：

我原先是通过我么api直接读取的oracle,现在由于要并行读取这个oracle数据库表数据，因此采用jdbc的方式，一开始我把sql变成query直接查，所以报上面的问题。部分样例代码如下

val date = "2024/07/01" 

val query = s"SELECT * FROM your_table WHERE stat_date = TO_DATE('$date', 'YYYY/MM/DD')"

val df = spark.read
  .format("jdbc")
  .option("url", url)
  .option("dbtable", "user.table1")
  .option("user", user)
  .option("password", password)
  .option("numPartitions", "8") 
  .option("query", query) //
  .load()

这样是不行的，不能加query

解决

不加query，直接在这里整出全表数据，然后再filter一下我们要的数据

  .option("dbtable", "user.table1")

思考

其实一开始就是想要快一点读取oracle表数据，但是发现设置这个并行度和我调我们自己搞得类时间是差不多的。效率我在优化一下吧，看看时间怎么样