Spark_Oracle_I_通过jdbc读取oracle程序报错invalid character

问题背景:

我原先是通过我么api直接读取的oracle,现在由于要并行读取这个oracle数据库表数据,因此采用jdbc的方式,一开始我把sql变成query直接查,所以报上面的问题。部分样例代码如下

复制代码
val date = "2024/07/01" 

val query = s"SELECT * FROM your_table WHERE stat_date = TO_DATE('$date', 'YYYY/MM/DD')"

val df = spark.read
  .format("jdbc")
  .option("url", url)
  .option("dbtable", "user.table1")
  .option("user", user)
  .option("password", password)
  .option("numPartitions", "8") 
  .option("query", query) //
  .load()

这样是不行的,不能加query

解决

不加query,直接在这里整出全表数据,然后再filter一下我们要的数据

复制代码
  .option("dbtable", "user.table1")

思考

其实一开始就是想要快一点读取oracle表数据,但是发现设置这个并行度和我调我们自己搞得类时间是差不多的。效率我在优化一下吧,看看时间怎么样

相关推荐
用户36105886261212 小时前
SparkStreaming 之 Kafka 与 SparkStreaming 参数配置详解
大数据·spark
BYSJMG20 小时前
大数据毕业设计选题推荐:基于大数据的全球气温历史演变分析与可视化,用Hadoop+Spark处理
大数据·hadoop·分布式·信息可视化·spark·kmeans·课程设计
IT研究室21 小时前
最新大数据毕业设计选题推荐-基于大数据的水质多指标关联分析与可视化的设计与实现-大数据-Spark-Hadoop-Bigdata
大数据·spark·课程设计
用户3610588626122 天前
SparkStreaming 之配置参数详解
大数据·spark
用户3610588626122 天前
SparkStreaming 之 Direct 模式并行度设置与 offset 管理
大数据·spark
BYSJMG2 天前
计算机毕业设计选题推荐|【基于大数据的植被光谱特征与环境因子关联分析及可视化】Spark+K-Means
大数据·python·信息可视化·数据分析·spark·kmeans·课程设计
阿里云大数据AI技术2 天前
EMR Serverless Spark多模态 Daft 算子市场免费公测 | 10分钟极速实战(附视频教程)
人工智能·spark
IT研究室3 天前
最新大数据毕业设计选题推荐-基于大数据的京东商品销售分析与可视化的设计与实现-大数据-Spark-Hadoop-Bigdata
大数据·spark·课程设计
用户3610588626124 天前
SparkStreaming 之 Driver HA 原理及搭建实操
大数据·spark