【spark】Exception in thread “main“ ExitCodeException exitCode=-1073741701

在window上运行spark程序写到本地文件的时候报错。

scala 复制代码
    val rdd = sc.sparkContext.parallelize(list)
    val arr = rdd.collect()
    arr.foreach(println)
    rdd.saveAsTextFile("test1")
    sc.close()

错误信息:

log 复制代码
zhangsan
lisi
wangwu
Exception in thread "main" ExitCodeException exitCode=-1073741701: 
	at org.apache.hadoop.util.Shell.runCommand(Shell.java:1009)
	at org.apache.hadoop.util.Shell.run(Shell.java:902)
	at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:1227)
	at org.apache.hadoop.util.Shell.execCommand(Shell.java:1321)
	at org.apache.hadoop.util.Shell.execCommand(Shell.java:1303)
	at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:777)
	at org.apache.hadoop.fs.RawLocalFileSystem.mkOneDirWithMode(RawLocalFileSystem.java:522)
	at org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:562)

前提:

添加了HADOOP_HOME环境变量,指向了window的hadoop环境。

然后再运行程序的时候报错的。

运行时写本地window磁盘报错:Exception in thread "main" ExitCodeException exitCode=-1073741701:

at org.apache.hadoop.util.Shell.runCommand(Shell.java:1009)

解决方法:

txt 复制代码
以下这些文件百度都可以搜的到,偷懒的就去下面资源文件下载,好像还在审核中。

msvcr120.dll文件缺失
方法一:
现在大部分操作系统应该都是64位了,以下2个都放。
msvcr120文件夹中64位放C:\Windows\SysWOW64目录。
msvcr120文件夹中32位放C:\Windows\System32目录。

方法二(大招):
方法一仍然不行的话,就使用方法二:
安装vc++合集,直接运行安装。
MSVBCRT_AIO_2018.07.31_X86+X64.exe

安装好后,运行正常。

相关资源链接:
https://download.csdn.net/download/wang6733284/89529247

相关推荐
PcVue China2 小时前
PcVue + SQL Grid : 释放数据的无限潜力
大数据·服务器·数据库·sql·科技·安全·oracle
Mephisto.java4 小时前
【大数据学习 | HBASE】hbase的读数据流程与hbase读取数据
大数据·学习·hbase
jerry6094 小时前
7天用Go从零实现分布式缓存GeeCache(改进)(未完待续)
分布式·缓存·golang
古人诚不我欺5 小时前
jmeter常用配置元件介绍总结之分布式压测
分布式·jmeter
SafePloy安策7 小时前
ES信息防泄漏:策略与实践
大数据·elasticsearch·开源
学术搬运工7 小时前
【珠海科技学院主办,暨南大学协办 | IEEE出版 | EI检索稳定 】2024年健康大数据与智能医疗国际会议(ICHIH 2024)
大数据·图像处理·人工智能·科技·机器学习·自然语言处理
星染xr8 小时前
kafka 生产经验——数据积压(消费者如何提高吞吐量)
分布式·kafka
东方巴黎~Sunsiny8 小时前
如何监控Kafka消费者的性能指标?
分布式·kafka
飞升不如收破烂~8 小时前
kafka
分布式·kafka
Matrix708 小时前
HBase理论_背景特点及数据单元及与Hive对比
大数据·数据库·hbase