技术栈
rdd转dataframe
gegeyanxin
1 年前
hdfs
·
spark
·
json
·
gson
·
rdd转dataframe
Spark解析JSON文件,写入hdfs
一、用Sparkcontext读入文件,map逐行用Gson解析,输出转成一个caseclass类,填充各字段,输出。
流月up
1 年前
大数据
·
sql
·
spark
·
spark sql
·
rdd转dataframe
7.spark sql编程
spark 版本为 3.2.4,注意 RDD 转 DataFrame 的代码出现的问题及解决方案本文目标如下: