spark3.x之后时间格式数据偶发报错org.apache.spark.SparkUpgradeException

3.x之后如果你去处理2.x生成的时间字符串数据,很容易遇到一个问题

bash 复制代码
Error operating ExecuteStatement: 
org.apache.spark.SparkUpgradeException: You may get a different result due to the upgrading of Spark 3.0: Fail to parse 
'20200725__cb90fcc3_8006_46b8_8f78_781aaff2e7f3' in the new parser. 
You can set spark.sql.legacy.timeParserPolicy to LEGACY to restore the behavior before Spark 3.0, or set to CORRECTED and treat it as an invalid datetime string.

这个问题的原因是2.x时,对时间数据的格式话用的是simpledateformat类,但是这个类对数据的容错很高,导致偶尔会生成数据后缀,3.x之后不用它了,但是在处理时遇到这种数据3.x的spark就会报上面的错误,而提示中说的spark.sql.legacy.timeParserPolicy=LEGACY是一种尝试修复的措施,并不能保证百分百没问题,最优解是处理数据的时候遇到时间字符串用substr截取一下

相关推荐
MasterNeverDown3 小时前
如何将 DotNetFramework 项目打包成 NuGet 包并发布
大数据·hadoop·hdfs
中科岩创3 小时前
广西钦州刘永福故居钦江爆破振动自动化监测
大数据·物联网
大数据编程之光4 小时前
Flink-CDC 全面解析
大数据·flink
GZ_TOGOGO5 小时前
华为大数据考试模拟真题(附答案)题库领取
大数据·华为
王子良.6 小时前
大数据生态系统:Hadoop(HDFS)、Hive、Spark、Flink、Kafka、Redis、ECharts、Zookeeper之间的关系详解
大数据·hive·hadoop·经验分享·学习·hdfs·spark
大力财经7 小时前
激发本地生意,抖音生活服务连锁商家生意同比增长超80%
大数据·人工智能
weixin_437398217 小时前
Elasticsearch学习(1) : 简介、索引库操作、文档操作、RestAPI、RestClient操作
java·大数据·spring boot·后端·学习·elasticsearch·全文检索
安的列斯凯奇7 小时前
Elasticsearch—索引库操作(增删查改)
大数据·elasticsearch·搜索引擎
金州饿霸8 小时前
hadoop-yarn常用命令
大数据·前端·hadoop
SeaTunnel8 小时前
对话新晋 Apache SeaTunnel Committer:张圣航的开源之路与技术洞察
大数据