Spark_Oracle_I_通过jdbc读取oracle程序报错invalid character

问题背景:

我原先是通过我么api直接读取的oracle,现在由于要并行读取这个oracle数据库表数据,因此采用jdbc的方式,一开始我把sql变成query直接查,所以报上面的问题。部分样例代码如下

复制代码
val date = "2024/07/01" 

val query = s"SELECT * FROM your_table WHERE stat_date = TO_DATE('$date', 'YYYY/MM/DD')"

val df = spark.read
  .format("jdbc")
  .option("url", url)
  .option("dbtable", "user.table1")
  .option("user", user)
  .option("password", password)
  .option("numPartitions", "8") 
  .option("query", query) //
  .load()

这样是不行的,不能加query

解决

不加query,直接在这里整出全表数据,然后再filter一下我们要的数据

复制代码
  .option("dbtable", "user.table1")

思考

其实一开始就是想要快一点读取oracle表数据,但是发现设置这个并行度和我调我们自己搞得类时间是差不多的。效率我在优化一下吧,看看时间怎么样

相关推荐
Thomas21432 小时前
spark view永久保存 + paimon对应的view
大数据·分布式·spark
徐先生 @_@|||3 小时前
大数据技术演进(从传统Hadoop到Spark到云原生的技术演进路径)
大数据·hadoop·spark
petrel20153 小时前
【Spark 核心内参】2025.10:从 Parquet 谓词下推的“度”到语义建模的“野心”
大数据·spark
查士丁尼·绵13 小时前
hadoop集群存算分离
hive·hdfs·zookeeper·spark·hbase·yarn·galera
鸿乃江边鸟1 天前
Spark Datafusion Comet 向量化Rule--CometExecRule Shuffle分析
大数据·spark·native·arrow
!chen3 天前
大数据技术领域发展与Spark的性能优化
大数据·性能优化·spark
大鳥3 天前
Hive on Spark SQL 性能优化权威指南
hive·sql·spark
Lansonli3 天前
大数据Spark(七十七):Action行动算子first、collect和collectAsMap使用案例
大数据·分布式·spark
计算机毕业编程指导师3 天前
【计算机毕设选题】基于Spark的拉勾网招聘数据分析系统源码,Python+Django全流程
大数据·hadoop·python·spark·django·招聘·拉勾网
m0_748254665 天前
Perl 变量类型
spark·scala·perl