Spark_Oracle_I_通过jdbc读取oracle程序报错invalid character

问题背景:

我原先是通过我么api直接读取的oracle,现在由于要并行读取这个oracle数据库表数据,因此采用jdbc的方式,一开始我把sql变成query直接查,所以报上面的问题。部分样例代码如下

复制代码
val date = "2024/07/01" 

val query = s"SELECT * FROM your_table WHERE stat_date = TO_DATE('$date', 'YYYY/MM/DD')"

val df = spark.read
  .format("jdbc")
  .option("url", url)
  .option("dbtable", "user.table1")
  .option("user", user)
  .option("password", password)
  .option("numPartitions", "8") 
  .option("query", query) //
  .load()

这样是不行的,不能加query

解决

不加query,直接在这里整出全表数据,然后再filter一下我们要的数据

复制代码
  .option("dbtable", "user.table1")

思考

其实一开始就是想要快一点读取oracle表数据,但是发现设置这个并行度和我调我们自己搞得类时间是差不多的。效率我在优化一下吧,看看时间怎么样

相关推荐
武子康1 天前
大数据-100 Spark DStream 转换操作全面总结:map、reduceByKey 到 transform 的实战案例
大数据·后端·spark
武子康2 天前
大数据-99 Spark Streaming 数据源全面总结:原理、应用 文件流、Socket、RDD队列流
大数据·后端·spark
计算机毕业设计木哥3 天前
计算机毕设选题推荐:基于Java+SpringBoot物品租赁管理系统【源码+文档+调试】
java·vue.js·spring boot·mysql·spark·毕业设计·课程设计
IT毕设梦工厂3 天前
大数据毕业设计选题推荐-基于大数据的客户购物订单数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
大数据CLUB3 天前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发
计算机编程小央姐3 天前
跟上大数据时代步伐:食物营养数据可视化分析系统技术前沿解析
大数据·hadoop·信息可视化·spark·django·课程设计·食物
孟意昶4 天前
Spark专题-第一部分:Spark 核心概述(2)-Spark 应用核心组件剖析
大数据·spark·big data
智海观潮4 天前
Spark SQL | 目前Spark社区最活跃的组件之一
大数据·spark
盛源_014 天前
hadoop的api操作对象存储
hdfs·spark