Spark开发_简单DataFrame判空赋值逻辑

Scala 复制代码
val table1 = "实时转存数据"
val table2 = "历史存hdf数据"  

val dfin1 = inputRDD(table1).asInstanceOf[org.apache.spark.sql.DataFrame]
val dfin = if (!dfin1.isEmpty) dfin1 else inputRDD(table2).asInstanceOf[org.apache.spark.sql.DataFrame]

dfin.select("时间").show
相关推荐
杨运交8 小时前
[060][调度模块]Redisson vs Redis 原生锁:两种分布式锁实现深度对比
数据库·redis·分布式
Lumistory8 小时前
企业总部泛光照明:品牌表达与长期运营的平衡方案
大数据·光照贴图
ACP广源盛139246256739 小时前
Qwen3.8‑2.4T 开源落地@ACP#国产 MoE 私有化部署下 GSV2221 视频转换芯片机遇分析
大数据·数据库·人工智能
河南凹凸环境艺术设计10 小时前
性价比高的民宿酒店设计企业
大数据·人工智能·python
千里念行客24010 小时前
业绩与创新双兑现!科伦博泰的Biopharma进阶之路
大数据·人工智能
阿里云大数据AI技术13 小时前
Daft 多模态视频抽帧性能优化实践:从抽帧到大模型打标,一条视频理解流水线是怎么跑起来的
大数据·人工智能·spark
笨鸟先飞,勤能补拙13 小时前
从预测到决策:人工智能与机器学习的系统方法、工程闭环与现实边界
大数据·人工智能·windows·python·机器学习·密码学
tech讯息13 小时前
生成式 AI 从 POC 验证迈向正式生产,推理部署环节成为卡点的核心原因是什么?
大数据·人工智能
Aethir13 小时前
第三章 — 成本与经济模型
大数据·人工智能
heimeiyingwang13 小时前
【架构实战】分布式事务:从CAP定理到Seata实战,一文讲透跨服务数据一致性
分布式·架构