位置:首页 > Spark手册 - 远程debug >

Spark手册 - 远程debug

作者:小牛君|发布时间:2017-06-16

小牛学堂的课程大纲最近进行了再一次升级,并且同时推出Java大数据平台开发班、Python爬虫与数据挖掘班、Spark项目班、Spark大神班、机器学习算法实战班、BI数据分析实战班, 目前这类人群凤毛麟角,导致这个行业的平均薪资极高,为此小牛学堂集合了行业的诸多大牛开设对应班级,为想学习的同学提供机会!
如果想了解详细情况,请联系 今日值班讲师 或者直接加入千人QQ群进行咨询:210992946

以下是本文正文:


1.1.   spark的远程debug

1.1.1.   调试Master

Master所在机器的spark-env.sh文件中添加如下参数

export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000"

 

start-master.sh

执行完这个脚本

image.png

通过一个IDE  建立一个remote application

image.png

image.png

 

 

 

image.png

在本地的代码打断点

image.png

debug按钮开始调试

image.png

 

 

---------------------------------------------------------------------------------------------------------

1.1.2.   调试Worker

 

Worker所在的机器配置文件中添加一个环境变量

export SPARK_WORKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10001"

启动work

sbin/start-slave.sh spark://mini1:7077

 

执行jps命令

image.png

 

用一个IDE工具连接 建立一个remote application

image.png

 

在本地的代码打断点

image.png

debug按钮开始调试

image.png

 

---------------------------------------------------------------------------------------------------------

1.1.3.   调试spark-submit

#调试spark-submit + app

bin/spark-submit --class cn.edu360.spark.WordCount --master spark://node-1.edu360.cn:7077 --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://node-1.edu360.cn:9000/words.txt hdfs://node-1.edu360.cn:9000/out2

 

#调试spark-submit + app + executor

bin/spark-submit --class cn.edu360.spark.WordCount --master spark://node-1.edu360.cn:7077 --conf "spark.executor.extraJavaOptions=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10003" --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://node-1.edu360.cn:9000/words.txt hdfs://node-1.edu360.cn:9000/out2

 

用一个IDE工具连接 建立一个remote application

spark-submit app mini2 10002

spark-submit app executor 10003

在本地的代码打断点

debug按钮开始调试

 



了解更多详情请联系 今日值班讲师 或者直接加入千人QQ群进行咨询:210992946

分享到: