1.1.   spark的远程debug

1.1.1.   调试Master

在Master所在机器的spark-env.sh文件中添加如下参数

export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000"

start-master.sh

执行完这个脚本

通过一个IDE  建立一个remote application

在本地的代码打断点

debug按钮开始调试

---------------------------------------------------------------------------------------------------------

1.1.2.   调试Worker

在Worker所在的机器配置文件中添加一个环境变量

export SPARK_WORKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10001"

启动work

sbin/start-slave.sh spark://mini1:7077

执行jps命令

用一个IDE工具连接 建立一个remote application

在本地的代码打断点

debug按钮开始调试

---------------------------------------------------------------------------------------------------------

1.1.3.   调试spark-submit

#调试spark-submit + app

bin/spark-submit --class cn.edu360.spark.WordCount --master spark://node-1.edu360.cn:7077 --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://node-1.edu360.cn:9000/words.txt hdfs://node-1.edu360.cn:9000/out2

#调试spark-submit + app + executor

bin/spark-submit --class cn.edu360.spark.WordCount --master spark://node-1.edu360.cn:7077 --conf "spark.executor.extraJavaOptions=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10003" --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://node-1.edu360.cn:9000/words.txt hdfs://node-1.edu360.cn:9000/out2

用一个IDE工具连接 建立一个remote application

spark-submit app mini2 10002

spark-submit app executor 10003

在本地的代码打断点

debug按钮开始调试