Spark_Oracle_I_通过jdbc读取oracle程序报错invalid character

问题背景:

我原先是通过我么api直接读取的oracle,现在由于要并行读取这个oracle数据库表数据,因此采用jdbc的方式,一开始我把sql变成query直接查,所以报上面的问题。部分样例代码如下

复制代码
val date = "2024/07/01" 

val query = s"SELECT * FROM your_table WHERE stat_date = TO_DATE('$date', 'YYYY/MM/DD')"

val df = spark.read
  .format("jdbc")
  .option("url", url)
  .option("dbtable", "user.table1")
  .option("user", user)
  .option("password", password)
  .option("numPartitions", "8") 
  .option("query", query) //
  .load()

这样是不行的,不能加query

解决

不加query,直接在这里整出全表数据,然后再filter一下我们要的数据

复制代码
  .option("dbtable", "user.table1")

思考

其实一开始就是想要快一点读取oracle表数据,但是发现设置这个并行度和我调我们自己搞得类时间是差不多的。效率我在优化一下吧,看看时间怎么样

相关推荐
询问QQ:1808095111 小时前
基于perscan、simulink、carsim联仿的自动驾驶避障模型:动态工况下的边界约束...
spark
en-route11 小时前
深入理解数据仓库设计:事实表与事实宽表的区别与应用
大数据·数据仓库·spark
Light6011 小时前
智慧办公新纪元:领码SPARK融合平台如何重塑企业OA核心价值
大数据·spark·oa系统·apaas·智能办公·领码spark·流程再造
涤生大数据13 小时前
Spark分桶表实战:如何用分桶减少 40%+ 计算时间
大数据·sql·spark·分桶表·大数据校招·大数据八股
小小工匠14 小时前
大规模数据处理:16_Spark SQL:大数据处理的查询利器与最佳实践
sql·spark
yumgpkpm1 天前
腾讯TBDS和Cloud Data AI CMP 比较的缺陷在哪里?
hive·hadoop·elasticsearch·zookeeper·spark·kafka·hbase
乌恩大侠1 天前
AI-RAN 在 Spark上部署 Sionna-RK
大数据·分布式·spark
pale_moonlight2 天前
九、Spark基础环境实战((上)虚拟机安装Scala与windows端安装Scala)
大数据·分布式·spark
青云交4 天前
Java 大视界 -- Java 大数据在智能物流无人配送车路径规划与协同调度中的应用
java·spark·路径规划·大数据分析·智能物流·无人配送车·协同调度
yumgpkpm5 天前
腾讯云TBDS与CDH迁移常见问题有哪些?建议由CDH迁移到CMP 7.13 平台(类Cloudera CDP,如华为鲲鹏 ARM 版)
hive·hadoop·zookeeper·flink·spark·kafka·hbase