Spark_SparkSql写入Oracle_Undefined function.....将长字符串写入Oracle中方法..

在使用Spark编写代码将读库处理然后写入Oracle中遇到了诸多小bug,很磨人,好在解决了。shit!!

实测1:TO_CLOB(a3)

代码样例

sql 复制代码
--这是一个sparksql写入hive的一个小逻辑,我脱敏了噻
SELECT
a1,
a2,
TO_CLOB(a3) AS clob_data,
TO_DATE(a4) AS time
FROM
table1
WHERE
a2 >= 3;

首先是这个坑,本来以为和DATE日期类型转换一样,但是这段代码中,我在sparksql写入oracle时报错如下

bug描述

sql 复制代码
......undefined function: 'TO_CLOB',
this funtion is nether a registered temporary nor a permanent funvtion 
registered in the database 'default'..巴拉巴拉

说是我TO_CLOB函数是Oracle特有的函数,在Spark SQL中并不支持,这是确实啊,方法用错了,人家不支持。。。

解决方法

要是写入Oracle的CLOB字段,得用CAST函数将字段转换为String类型。。。这样 我测过了,没问题。

sql 复制代码
SELECT 
    a1,
    a2,
    CAST(a3 AS STRING) AS clob_data,
    TO_DATE(a4) AS time
FROM 
    table1
WHERE
    a2 >= 3;


/**
 * @author:Matrix70,https://blog.csdn.net/qq_52128187?type=blog,ok,就是我
 */

吐槽 :

由于爷们对PLSQL操作看表的不熟悉,导致了一个大乌龙!!太抽象了!具体如下

我以为这个字段内容为<CLOB>的我程序没写进去,我心里想怎么会是这个字段内容呢?不应该是一大长串数据么?

然后我就尝试了n种转换方式,得到的结果还是这个,后来我去问同事这个长字符串写入Oracle的方法,他说转换成text,我说mysql的才是转换成 text,这个坑踩过,他又说转换成long类型 ,Oracle没有这个类型吧,给我看了一下数据,他那个数据列也是<LONG>,我看他这么操作的!!

点了一下<LONG>后面的三个点,一下子他那边的数据出来了。心里保持疑问,我快速回到工位 点了一下<CLOB>后面的点,太抽象了,数据出来了!我整了半天以为是自己代码出问题了。。。好在跑出来了。记录一下这个坑。可能以后也不会忘记了 。

sql 复制代码
<CLOB>

另一种方法转换:

Scala 复制代码
import org.apache.spark.sql.types._
import org.apache.spark.sql.functions._

val customClobType = DataTypes.createStructField("clob_data", DataTypes.StringType, true)

val result = table1.select(
  col("a1"),
  col("a2"),
  struct(col("a3").alias("clob_data")).cast(customClobType).getField("clob_data").alias("clob_data"),
  to_date(col("a4")).alias("time")
).where(col("a2") >= 3)

ok,

相关推荐
TDengine (老段)5 小时前
TDengine IDMP 功能点—数据接入
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
bksczm7 小时前
InnoDB 通用表空间与临时表空间详解
大数据·数据库·mysql
阿里云大数据AI技术8 小时前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
衡石科技8 小时前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
yyk3332411 小时前
Flink详细讲解
大数据·flink
用户460438522508613 小时前
关于paimon-rust 数据写入链路
大数据
tianyuanwo14 小时前
NocoDB 系统手册:PostgreSQL 主机资产管理的界面层实施方案
数据库·postgresql·oracle
数字融合14 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
演艺大赏15 小时前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
知行产研15 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能