Spark开发_简单DataFrame判空赋值逻辑

Scala 复制代码
val table1 = "实时转存数据"
val table2 = "历史存hdf数据"  

val dfin1 = inputRDD(table1).asInstanceOf[org.apache.spark.sql.DataFrame]
val dfin = if (!dfin1.isEmpty) dfin1 else inputRDD(table2).asInstanceOf[org.apache.spark.sql.DataFrame]

dfin.select("时间").show
相关推荐
武子康1 天前
Java-216 RocketMQ 4.5.1 在 JDK9+ 从0到1全流程启动踩坑全解:脚本兼容修复(GC 参数/CLASSPATH/ext.dirs)
java·大数据·分布式·消息队列·系统架构·rocketmq·java-rocketmq
DX_水位流量监测1 天前
地埋式积水监测仪:城市防涝的智能感知核心
大数据·网络·人工智能·数据分析·自动化
回家路上绕了弯1 天前
分布式事务本地消息表详解:中小团队的低侵入落地方案
分布式·后端
武子康1 天前
大数据-196 scikit-learn KNN 实战:KNeighborsClassifier、kneighbors 与学习曲线选最优 案例1红酒 案例2乳腺
大数据·后端·机器学习
TM1Club1 天前
Zoey的TM1聊天室|#3 合并报表提速:业财一体如何实现关联方对账自动化
大数据·开发语言·人工智能·经验分享·数据分析·自动化·数据库系统
禾高网络1 天前
互联网医院系统|禾高互联网医院|互联网医院成品
java·大数据·人工智能
Macbethad1 天前
技术报告:云原生与Kubernetes实践深度解析
大数据
小北方城市网1 天前
第 10 课:Node.js 后端企业级进阶 —— 任务管理系统后端优化与功能增强(续)
大数据·前端·vue.js·ai·性能优化·node.js
达之云*驭影1 天前
达之云驭影:深耕本地生活服务,以数字化赋能千行百业
大数据
Wang's Blog1 天前
Kafka: 高吞吐量原理、应用场景
分布式·kafka