大数据培训新三板挂牌机构 股票代码:837906 | EN CN
位置:首页 > Spark手册 - 远程debug >

Spark手册 - 远程debug

作者:小牛君|发布时间:2017-06-16


1.1.   spark的远程debug

1.1.1.   调试Master

Master所在机器的spark-env.sh文件中添加如下参数

export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000"

 

start-master.sh

执行完这个脚本

image.png

通过一个IDE  建立一个remote application

image.png

image.png

 

 

 

image.png

在本地的代码打断点

image.png

debug按钮开始调试

image.png

 

 

---------------------------------------------------------------------------------------------------------

1.1.2.   调试Worker

 

Worker所在的机器配置文件中添加一个环境变量

export SPARK_WORKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10001"

启动work

sbin/start-slave.sh spark://mini1:7077

 

执行jps命令

image.png

 

用一个IDE工具连接 建立一个remote application

image.png

 

在本地的代码打断点

image.png

debug按钮开始调试

image.png

 

---------------------------------------------------------------------------------------------------------

1.1.3.   调试spark-submit

#调试spark-submit + app

bin/spark-submit --class cn.edu360.spark.WordCount --master spark://node-1.edu360.cn:7077 --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://node-1.edu360.cn:9000/words.txt hdfs://node-1.edu360.cn:9000/out2

 

#调试spark-submit + app + executor

bin/spark-submit --class cn.edu360.spark.WordCount --master spark://node-1.edu360.cn:7077 --conf "spark.executor.extraJavaOptions=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10003" --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://node-1.edu360.cn:9000/words.txt hdfs://node-1.edu360.cn:9000/out2

 

用一个IDE工具连接 建立一个remote application

spark-submit app mini2 10002

spark-submit app executor 10003

在本地的代码打断点

debug按钮开始调试

 



加入千人QQ群一起学习大数据:Spark大数据交流学习群613807316

分享到: