于2017-06-16由小牛君创建
在Master所在机器的spark-env.sh文件中添加如下参数
export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000"
start-master.sh
执行完这个脚本
通过一个IDE 建立一个remote application
在本地的代码打断点
debug按钮开始调试
---------------------------------------------------------------------------------------------------------
在Worker所在的机器配置文件中添加一个环境变量
export SPARK_WORKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10001"
启动work
sbin/start-slave.sh spark://mini1:7077
执行jps命令
用一个IDE工具连接 建立一个remote application
在本地的代码打断点
debug按钮开始调试
---------------------------------------------------------------------------------------------------------
#调试spark-submit + app
bin/spark-submit --class cn.edu360.spark.WordCount --master spark://node-1.edu360.cn:7077 --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://node-1.edu360.cn:9000/words.txt hdfs://node-1.edu360.cn:9000/out2
#调试spark-submit + app + executor
bin/spark-submit --class cn.edu360.spark.WordCount --master spark://node-1.edu360.cn:7077 --conf "spark.executor.extraJavaOptions=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10003" --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://node-1.edu360.cn:9000/words.txt hdfs://node-1.edu360.cn:9000/out2
用一个IDE工具连接 建立一个remote application
spark-submit app mini2 10002
spark-submit app executor 10003
在本地的代码打断点
debug按钮开始调试
在线咨询
免费热线
资料发放
技术答疑
关注微信