Spark开发_简单DataFrame判空赋值逻辑

Scala 复制代码
val table1 = "实时转存数据"
val table2 = "历史存hdf数据"  

val dfin1 = inputRDD(table1).asInstanceOf[org.apache.spark.sql.DataFrame]
val dfin = if (!dfin1.isEmpty) dfin1 else inputRDD(table2).asInstanceOf[org.apache.spark.sql.DataFrame]

dfin.select("时间").show
相关推荐
阿里云大数据AI技术2 分钟前
云栖实录 | 驰骋在数据洪流上:Flink+Hologres驱动零跑科技实时计算的应用与实践
大数据·flink
北邮-吴怀玉7 分钟前
1.2.1.3 大数据方法论与实践指南-一种跨团队业务结算方式探索
大数据
字节数据平台32 分钟前
得物×火山引擎:Data Agent驱动财务管理智能升级
大数据
字节数据平台34 分钟前
火山引擎推出Data Agent评测体系,并发布《2025数据智能体实践指南》
大数据
JavaArchJourney39 分钟前
分布式事务与最终一致性
分布式·后端
sniper_fandc1 小时前
Elasticsearch从入门到进阶——搜索引擎原理
大数据·elasticsearch·搜索引擎
云境天合知识分享1 小时前
防爆气象站:为化工园区筑牢安全屏障
大数据
优软轻创-拓客私域1 小时前
数字权益市场爆发:如何通过权益数卡选对优质货源
大数据·人工智能
驾数者2 小时前
深入理解 Flink SQL 状态:原理、应用与优化
大数据·sql·flink
绿算技术2 小时前
绿算GP Spark引爆关注,成为AI工厂存储利器
大数据·人工智能·spark