首家大数据培训挂牌机构 股票代码:837906 | EN CN
【小牛原创】Spark SQL 从入门到实战 -- spark sql 1.6版本相关api
【小牛原创】Spark SQL 从入门到实战 -- 概述
Spark Streaming:大规模流式数据处理
spark RDD 相关需求
spark RDD 高级应用
Spark手册 - load&save
Spark手册 - debug
Spark手册 - cache&checkpoint
Spark手册 - RDD Action API
Spark手册 - Partitioner源码
Spark手册 - RDD Transformation API
Spark手册 - RDD的依赖关系
Spark手册 - RDD入门
Spark手册 - 远程debug
Spark手册 - 在IDEA中编写WordCount程序(3)
Spark手册 - 在IDEA中编写WordCount程序(2)
Spark手册 - 在IDEA中编写WordCount程序(1)
Spark手册 - 执行Spark程序
Spark手册 - 集群安装
20页PPT|视频类网站大数据生态 Spark在爱奇艺的应用实践
Spark机器学习入门实例——大数据集(30+g)二分类
Spark官方文档中文翻译:Spark SQL 之 Data Sources
使用Spark MLlib来训练并服务于自然语言处理模型
Spark知识体系完整解读
案例 :Spark应用案例现场分享(IBM Datapalooza)
最全的Spark基础知识解答
Spark在GrowingIO数据无埋点全量采集场景下的实践
Apache Spark探秘:三种分布式部署方式比较
Apache Spark探秘:多进程模型还是多线程模型?
Apache Spark探秘:实现Map-side Join和Reduce-side Join
Apache Spark探秘:利用Intellij IDEA构建开发环境
spark on yarn的技术挑战
Apache Spark学习:将Spark部署到Hadoop 2.2.0上
Hadoop与Spark常用配置参数总结
基于Spark Mllib,SparkSQL的电影推荐系统
spark作业调优秘籍,解数据倾斜之痛
Spark入门必学:预测泰坦尼克号上的生还情况
小牛学堂浅谈基于Spark大数据平台日志审计系统的设计与实现
【Hadoop Summit Tokyo 2016】使用基于Lambda架构的Spark的近实时的网络异常检测和流量分析
Spark编程环境搭建经验分享
Spark技术在京东智能供应链预测的应用
spark中textFile、groupByKey、collect、flatMap、map结合小案例
Spark中DataFrame的schema讲解
深度剖析Spark分布式执行原理
【Spark Summit East 2017】从容器化Spark负载中获取的经验
内存分析技术哪家强?Spark占几何
Spark系列之一:Spark,一种快速数据分析替代方案
6种最常见的Hadoop和Spark项目
Hadoop vs Spark
Hadoop与Spark常用配置参数总结
Spark RPC通信层设计原理分析
Spark Standalone架构设计要点分析
Spark UnifiedMemoryManager内存管理模型分析
网易的Spark技术分享

Spark手册 - debug

于2017-06-16由小牛君创建

分享到:


1.  debug

1.1.toDebugString

查看RDD依赖关系的debug调试信息

val a = sc.parallelize(1 to 9, 3)
 
val b = sc.parallelize(1 to 3, 3)
 
val c = a.subtract(b)
c.toDebugString
 

res59: String =
  (3) MapPartitionsRDD[119] at subtract at <console>:28 []
   |    SubtractedRDD[118] at subtract at <console>:28 []
   +-(3) MapPartitionsRDD[116] at   subtract at <console>:28 []
   |    |  ParallelCollectionRDD[114] at   parallelize at <console>:24 []
   +-(3) MapPartitionsRDD[117] at   subtract at <console>:28 []
      |    ParallelCollectionRDD[115] at parallelize at <console>:24 []

 

1.2.   dependencies

val b = sc.parallelize(List(1,2,3,4,5,6,7,8,2,4,2,1,1,1,1,1))
b.dependencies
 

res8:   Seq[org.apache.spark.Dependency[_]] = List()

b.map(a => a).dependencies
 

res9:Seq[org.apache.spark.Dependency[_]]=List(org.apache.spark.OneToOneDependency@226ea84)

b.cartesian(a).dependencies
 

res10:Seq[org.apache.spark.Dependency[_]]   = List(org.apache.spark.rdd.CartesianRDD$$anon$1@15bf089, org.apache.spark.rdd.CartesianRDD$$anon$2@32f1f5da)

 

scala> val   rdd=sc.textFile("/hdfs/wordcount/in/words.txt").flatMap(_.split("\\s+

")).map((_,1)).reduceByKey(_+_)

scala> rdd.dependencies

res11:Seq[org.apache.spark.Dependency[_]]=List(org.apache.spark.ShuffleDependency@3cd79d17)