【spark】远程debug spark任务（含有pyspark）

--master yarn和--master client都是可以的。

spark-submit \
--master yarn \
--deploy-mode client \
--name "test-remote-debug" \
--conf "spark.driver.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005" \
--conf "spark.executor.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=*:5006" \
/home/user/test.py

idea中如下配置，当然需要配置两个debug任务并同时启动。

运行spark-submit后再在idea中debug即可。