技术栈

Spark开发_简单DataFrame判空赋值逻辑

Matrix702024-02-02 17:26
Scala 复制代码
val table1 = "实时转存数据"
val table2 = "历史存hdf数据"  

val dfin1 = inputRDD(table1).asInstanceOf[org.apache.spark.sql.DataFrame]
val dfin = if (!dfin1.isEmpty) dfin1 else inputRDD(table2).asInstanceOf[org.apache.spark.sql.DataFrame]

dfin.select("时间").show
上一篇:SpringMVC的执行流程及初始化流程
下一篇:10 个简洁实用的 JavaScript 一行代码 - 数组版
相关推荐
Lx352
37 分钟前
Hadoop与实时计算集成:Lambda架构实践经验
大数据·hadoop
武子康
3 小时前
大数据-101 Spark Streaming 有状态转换详解:窗口操作与状态跟踪实战 附多案例代码
大数据·后端·spark
expect7g
4 小时前
COW、MOR、MOW
大数据·数据库·后端
武子康
20 小时前
大数据-98 Spark 从 DStream 到 Structured Streaming:Spark 实时计算的演进
大数据·后端·spark
阿里云大数据AI技术
20 小时前
2025云栖大会·大数据AI参会攻略请查收!
大数据·人工智能
代码匠心
1 天前
从零开始学Flink:数据源
java·大数据·后端·flink
Lx352
1 天前
复杂MapReduce作业设计:多阶段处理的最佳实践
大数据·hadoop
武子康
1 天前
大数据-100 Spark DStream 转换操作全面总结:map、reduceByKey 到 transform 的实战案例
大数据·后端·spark
expect7g
1 天前
Flink KeySelector
大数据·后端·flink
热门推荐
01GitHub 镜像站点02UV 工具安装与国内镜像源配置指南0346个Nano-banana 精选提示词,持续更新中04保姆级教程:手把手教你用Dify实现完美多轮对话(附Chatflow和提示词)05Claude Code 平替:OpenAI发布 Codex CLI ,GPT-5 国内直接使用06UV安装并设置国内源07Spec-Kit 使用指南08A股预测还能更准?开源大模型Kronos带你跑通预测+回测全流程09智能库存管理的需求预测模型:从业务痛点到落地代码的完整实践10KGG转MP3工具|非KGM文件|解密音频