Windows中处理PySpark报错:SparkException: Python worker failed to connect back
这个问题可能是发送在windows10以上的版本,使用datafram的方法是没问题,但是使用rdd算子出现这个问题,报错SparkException: Python worker failed to connect back。环境变量的设置一下PYSPARK_PYTHON 改成自己的python环境
就可以解决这个问题
Windows中处理PySpark报错:SparkException: Python worker failed to connect back
这个问题可能是发送在windows10以上的版本,使用datafram的方法是没问题,但是使用rdd算子出现这个问题,报错SparkException: Python worker failed to connect back。环境变量的设置一下PYSPARK_PYTHON 改成自己的python环境
就可以解决这个问题