Spark开发_简单DataFrame判空赋值逻辑

Scala 复制代码
val table1 = "实时转存数据"
val table2 = "历史存hdf数据"  

val dfin1 = inputRDD(table1).asInstanceOf[org.apache.spark.sql.DataFrame]
val dfin = if (!dfin1.isEmpty) dfin1 else inputRDD(table2).asInstanceOf[org.apache.spark.sql.DataFrame]

dfin.select("时间").show
相关推荐
智海观潮3 小时前
Flink CDC支持Oracle RAC架构CDB+PDB模式的实时数据同步吗,可以上生产环境吗
大数据·oracle·flink·flink cdc·数据同步
云游4 小时前
利用外部Postgresql及zookeeper,启动Apache Dolphinscheduler3.1.9
分布式·postgresql·zookeeper·apache·工作流任务调度
企企通采购云平台4 小时前
「天元宠物」×企企通,加速数智化升级,“链”接萌宠消费新蓝海
大数据·人工智能·宠物
Apache Flink4 小时前
Flink Forward Asia 2025 主旨演讲精彩回顾
大数据·flink
泰迪智能科技015 小时前
分享|大数据采集工程师职业技术报考指南
大数据
搬砖天才、6 小时前
kafka集群安装
分布式·kafka
zskj_zhyl6 小时前
AI健康小屋“15分钟服务圈”:如何重构社区健康生态?
大数据·人工智能·物联网
AllData公司负责人7 小时前
实时开发IDE部署指南
大数据·ide·开源
电商数据girl7 小时前
有哪些常用的自动化工具可以帮助处理电商API接口返回的异常数据?【知识分享】
大数据·分布式·爬虫·python·系统架构
ZeroNews内网穿透8 小时前
服装零售企业跨区域运营难题破解方案
java·大数据·运维·服务器·数据库·tcp/ip·零售