技术栈
rdd转dataframe
gegeyanxin
1 年前
hdfs
·
spark
·
json
·
gson
·
rdd转dataframe
Spark解析JSON文件，写入hdfs
一、用Sparkcontext读入文件，map逐行用Gson解析，输出转成一个caseclass类，填充各字段，输出。
流月up
2 年前
大数据
·
sql
·
spark
·
spark sql
·
rdd转dataframe
7.spark sql编程
spark 版本为 3.2.4，注意 RDD 转 DataFrame 的代码出现的问题及解决方案本文目标如下：