完成以下三个任务 即可享受3000元学费减免
任务接收邮箱:
shijj@sunzonedu.com
  • 任务1:你的简历

    请提交一份你的个人履历(要求一页Word文档以内)

  • 任务2:你的梦想

    请告诉我们,未来3年内你最想实现的事或最想改变的事,并告
    诉我们,你已经为这个事做了哪些准备

  • 任务3:你的推荐人

    请找到3个从事大数据开发工程师为你写一封推荐信(要求联系方
    式,需要核实),要求能表现出你的个人能力、人品、成长空间等。

  • 将以上3个任务汇总到同一份Word文档或PDF中,然后将文件发到任务接收邮箱,
    我们审核通过后,会在7个工作日内通过微信或者电话联系你,邀请加入我们的
    Spark大神班

为有一定基础且想深入学习Spark的学员量身打造

我们的课程特色

  • Spark2.0

    当其他培训机构还在进Spark 1.0的时,我们早已经
    升级到Spark 2.0了

  • 核心源码

    当其他培训机构授课仅蜻蜓点水时,小牛学堂的专业大神已经带你领
    略Spark源码魅力了!

  • 真实项目

    当其他培训机构还在使用Demo级别的案例教
    学时,我们早已经加入了三大企业级真实项目
    游戏运营数据分析平台 精准广告推送DMP平台 实时充值数据监测统计平台

我们的课程目标

培养企业中最想要的Spark工程师
专技术
对整个大数据生态圈的相关技术都有一定的研究,深入理解Spark的原理,熟练使用Spark技术解决各种业务需求。通过我们课程中的企业级项目和阅读Spark源码让你更加深了的掌握Spark技术!
懂架构
对业务有一定的了解,并且可以根据不同的业务场景设计出最优的技术架构。通过我们课程中的企业真实项目,全方位掌握项目的整个开发周期,达到触类旁通的目的!
擅调优
大数据项目一般都有一定的性能瓶颈,需要深入掌握项目技术架构特点和技术原理方可对项目中的瓶颈进行调优。通过项目中的调优经验让你掌握该技能!
善沟通
大数据工程师在项目中扮演一个非常重要的角色,需要跟各个部门进行协调沟通,所以要具备良好的沟通能力,业务对接能力!
一个牛X的Spark工程师要掌握的必备技能包
  • Java和Scala编程语言
  • Python或Shell脚本
  • HDFS/MapReduce/Hive/
    Hbase、Flume
  • Spark Core/SparkStreaming/
    MLlib/GraphX
  • Kafka消息中间件
  • Spark SQL & DateFrames
为什么选择小牛学堂?
专业

新三板上市的
专业大数据培训公司

专一

所有课程门类
都是围绕大数据
各类岗位需求而设计

专注

所有培训讲师都是
来自一线企业的一线技术大牛
所有课程安例都
来自一线企业的真实线上项目

保障

入学签订就业协议

24h

金牌讲师7*24+答疑

1对1

就业老师1对1辅导

我们的学习方式

针对想要自我提升的在职学员,老师全天7X12小时在线,学员在学习过程中遇到任何问题,可随时通过QQ群进行沟通

我要报名

针对线下班,小牛提供全天的培训,班主任、金牌讲师、就业老师全面辅导,学完后让你直接拥有至少2+年的工作经验,面试不在“躺尸”,让你毫无压力高薪就业,就是这么任性!你敢来吗,小伙?

我要报名
Spark大神班学习什么?
  • Scala函数式编程部分大纲
  • Spark课程大纲
  • 游戏运营平台数据分析系统
  • 精准广告推送DMP平台
  • 移动商城业务支撑系统
    实时充值数据监测统计平台

要点一:Scala快速入门

备注说明:快速掌握Scala的使用和基本语法,通过案例加深理解!

1、Scala编程介绍
2、Scala与其他语言的对比和优势
3、Scala相关软件安装
4、Scala基础语法
5、Scala编程介绍
6、Scala相关软件安装
7Sscala入门案例

要点二:函数式编程

备注说明:通过与Java和Python的lambda对比,并用Java语言自己实现一个类似功能,深入理解函数式编程,然后通过一些案例加深理解!

1、scala方法和函数
2、scala的函数和Python的Lambda对比
3、scala的函数和Java8的Lambda对比
4、用Java自己实现一个类似函数式编程的功能
5、scala函数式编程特点
6、scala数组和集合
7、map、flatMap方法的讲解和案例
8、reduce方法的讲解和案例
9、filter、filterNot方法方法的讲解和案例
10、fold、foldLeft、foldRight方法方法的讲解和案例
11、sortBy、sortWith、sorted方法方法的讲解和案例
12、aggregate方法的讲解和案例
13、其他常用的方法
14、scala编程练习(单机版WordCount)

要点三:面向对象

备注说明:Scala是一门集面向对象和函数式编程语言与一身,通过与Java面向对象的对比,并讲解Scala面向对象的特别之处,快速掌握Scala面向对象的使用!

1、类的定义
2、构造器与辅助构造器
3、继承
4、单例对象
5、包访问权限
6、实现特质
7、方法的重写和重载
8、实现多态
9、面向对象综合案例

要点四:模式匹配

备注说明:模式匹配是Scala一个非常重要的功能,尤其是case class和case object,可以实现很多奇妙的功能,掌握了Scala的模式匹配文后面的综合案例做准备!

1、Scala模式匹配的特点
2、按内容匹配
3、按类型匹配
4、case class
5、case object
6、自定义case class和case oject案例
7、Option/Some/None
8、偏函数

要点五:Actor并发编程

备注说明:通过Actor的案例并与Java的线程对比,为后面学习Akka做准备,同时可以使用Actor来实现多线程并发编程

1、Actor编程模型简介
2、Actor编程模型简介与Java传统多线程的区别
3、创建Actor的方式
4、发送同步消息和异步消息
5、Scala的Future功能
6、Actor编程实战

要点六:高阶函数

备注说明:高阶函数是Scala中一个非常重要的功能,后面有很多强大的功能都都是基于高阶 函数实现的,通过案例深入理解高阶函数,达到活学活用的目的

1、高阶函数介绍
2、高阶函数的种类
3、柯里化
4、call by name和call by value
5、Scala的闭包
6、高阶函数综合案例

要点七:隐式转换

备注说明:隐式转换是Scala中一个不太好理解的知识点,通过与以前学过的装饰模式和代理模式继续进行对比,并通过案例彻底理解隐式转换

1、隐式转换的概念和作用
2、隐式转换与装饰模式、代理模式的对比
3、隐式转换的优点
4、上下文绑定
5、视图绑定
6、逆变和协变
7、隐式转换原理剖析
8、隐式转换案例

要点八:分布式RPC编程案例(Akka和Netty)

备注说明:隐式转换是Scala中一个不太好理解的知识点,通过与以前学过的装饰模式和代理模式继续进行对比,并通过案例彻底理解隐式转换

1、RPC编程实现原理介绍
2、Akka框架介绍
3、Akka入门案例
4、Akka原理剖析
5、Akka的容错功能
6、Akka整合zookeeper实现高可用
7、实战:RPC编程实战一(实现RPC通信功能)
8、实战:RPC编程实战二(实现Spark底层通信的功能)
9、Netty的介绍和特点
10、Netty的基本使用
11、案例:实现Netty的Server端的实现
12、案例:实现Netty的Client端的实现
13、Netty整合其他序列框架
14、案例:利用Netty实现RPC通信

RPC通信案例

项目介绍:该项目是使用Akka实现的一个模拟Spark底层通信的RPC案例,通过该项目可以将前面学习Scala的知识熟练使用并融会贯通,为后面学习Spark打下坚实的基础。
项目部分效果图

RPC通信案例效果图(点击图片可放大)

要点一:Spark简介和环境搭建

备注说明:掌握Spark Standalone模式集群搭建,以及与HDFS的整合。熟练使用Spark Shell, 编写简单Spark程序

Spark简介
掌握Spark Standalone模式集群搭建,
以及与HDFS的整合。熟练使用Spark Shell,
编写简单Spark程序
Spark和Hadoop、Storm的对比
Spark集群环境架构
Spark集群搭建
Spark高可用集群搭建
Spark-Shell的使用
Spark整合HDFS

要点二:RDD的Transformation和Action的使用

备注说明:理解RDD的原理、熟练使用Spark的算子,虽然在Spark2.0 RDD使用较少,推荐使用SparkSQL,但是SparkSQL底层还是RDD,所以学好RDD会加深对Spark的理解

用Scala语言编写Spark应用程序WordCount
用Java语言编写Spark应用程序WordCount
RDD简介
RDD的特点说明
Spark常用算子介绍
Spark的Transformation算子
map、flatMap、mapPartitions的使用
filter的使用
reduceByKey、groupByKey、aggregateByKey的使用
sortByKey、sortBy的使用
join、unit、intersection、cogroup的使用
coalesce、repartition、repartitionAndSortWithinPartitions的使用
其他复杂的Transformation算子
Spark的Action算子
reduce的使用
count、countByKey的使用
collect、firsttake、takeOrdere的使用
saveAsTextFile、saveAsSequenceFile、saveAsObjectFile的使用
foreach、foreachPartition算子
其他复杂的Action算子

要点三:Spark Core的高级功能和实战案例

备注说明:通过案例实战案例深入理解RDD,熟练使用RDD完成具体业务逻辑。

案例:用户最常出现的位置
Spark的WordCount执行相信流程解析
RDD的缓存机制
案例:URL求TopN
自定义分区
二次排序
自定义排序
RDD的checkpoint机制
广播变量
案例:根据IP求归属地
Spark远程调试
Maven编译Spark源码
宽依赖和窄依赖
RDD的血统关系
DAG切分过程
案例:利用JdbcRDD导入数据

要点四:Spark SQL

备注说明:Spark2.0的特色就是对SparkSQL进行了优化,大大提高了执行效率,不但统一了DataFrame和DataSet的接口,而且简化了开发和提高开发效率,通过案例可以熟练掌握SparkSQL的使用

Spark-SQL介绍
Spark-SQL的使用新特性
SparkSession的使用
DataFrame和DataSet的使用
DataFrame的常用方法
通过Case Class和Schema创建DataSet
DataSet的常用方法
Parquet文件的使用
SparkSQL的TemporaryView
Spark-SQL加载并处理MySQL中的数据
利用Spark-SQL讲数据写入到MySQL中
Spark-SQL整合Hive
Spark-SQL综合案例1
Spark-SQL综合案例2

要点五:SparkStreaming

备注说明:熟练Kafka的配置和使用,理解kafka高可用配置。掌握Spark-Streaming整合kafka,掌握DStream的常用操作,完成实时数据处理,并将数据实时写入到Redis或Hbase中

Spark-Streaming简介
编写Spark-Streaming的WordCount程序
可更新状态的WordCount程序
Spark-Streaming整合Flume
Kafka的介绍
Kafka集群的安装
Kafak相关概念介绍
Kafka生产者和消费者程序编写
Kafka的Topic的相关操作
Kafka原理深入
Spark-Streaming整合Kafka
案例:Spark-Streaming实时统计小区流量
Spark-Streaming窗口函数
Spark-Streaming直连方式整合Kafka
直连方式原理分析

要点六:Spark On Yarn

备注说明:掌握YARN的执行过程,熟练使用将Spark任务提交到YARN上执行,通过YARN的管理界面管理和调度spark任务

Hadoop的YARN知识点回顾
Spark On YARN两种方式Cluster和Client
两种方式过程分析
Spark On YARN日志查看
Spark On YARN常见问题分析
Spark On YARN的的任务调度
Spark On YARN的常用配置参数
YARN的监控页面参数讲解

要点七:Spark MLlib

备注说明:掌握Spark MLlib和机器学习常用算法

Spark MLlib介绍
MLlib和Mahout的对比和优势
breeze向量和矩阵计算
MLlib常用算法
案例:智能推荐案例
案例:分析电商销售商品分类

要点八:Spark GraphX

备注说明:掌握图计算使用场景和Graphx的使用

GraphX介绍
图相关概念的介绍
GraphX基本使用
案例:社交用户人脉分析
案例:手机用户常出没的商圈分析

要点九:Spark源码分析

备注说明:通过分析Spark源码,深入理解Spark执行流程,从而为分析任务问题和优化提供思路。

Master启动流程源码分析
Worker启动流程源码分析
Spark应用程序提交构成源码分析
SparkContext创建过程源码分析
ClientActor提交任务给Master过程源码分析
Master资源调度源码分析
Master通知Worker启动Executor过程源码分析
Executor跟DriverActor通信过程源码分析
任务提交整理流程源码分析
DAGSchedule执行过程分析
DAG切分Stage过程源码分析
TaskScheduler提交Task过程源码分析
Executor上执行Task过程源码分析

要点十:Spark集群和任务性能优化

备注说明:了解Spark常用的参数,理解Spark运行过程,优化Spark任务执行,从掌握常见任务执行优化的方案。

Spark Standalone模式优化参数
任务提交资源分配和优化参数
数据倾斜原因及优化方案
Driver端参数配置和优化
Worker端参数配置和优化
RDD的cache、checkpoint等相关优化
Shuffle过程优化及参数配置
SparkSQL的任务优化
SparkStreaming的任务优化
Spark On YARN端参数配置和优化
Spark集群监控和参数调优
Spark集群内存监控和JVM GC调优

模块一:数据分析在游戏行业的应用概况

1、游戏行业现状分析
涉及技术
网络游戏的发展现状和技术架构
2、游戏运营与数据分析的关系
涉及技术
大数据在游戏领域的应用
3、数据分析的重要价值和意义
涉及技术
大数据技术为游戏运营提供数据支持的方式和手段
大数据个性化分析玩家行为的常用技术和算法

模块二:项目背景

1、项目背景介绍
涉及技术
游戏运营平台建设的必要性分析
2、游戏引擎介绍
涉及技术
游戏引擎的演示和试玩
3、项目业务流程梳理
涉及技术
游戏运营平台业务流程详解
4、项目技术架构分析
涉及技术
游戏运营平台技术架构设计分析
5、游戏分析指标
涉及技术
游戏运营平台重要指标介绍
6、日志采集
涉及技术
日志采集方案设计分析
7、日志格式
涉及技术
日志格式详解

模块三:数据采集

1、游戏网站页面JS埋点脚本
涉及技术
DMP平台建设的必要性分析
2、Flume的高级使用
涉及技术
自定义Source和Interceptor
3、Kafka消息队列的使用
涉及技术
Kafka集群搭建和使用、Flume整合Kafka
4、Elasticsearch和Logstash的安装和使用
涉及技术
Logstash整合Kafka和Elasticsearch

模块四:离线业务

1、游戏玩家渠道来源分析
涉及技术
使用Spark Core和DataSet分析玩家的行为。熟练使用RDD和DataSet
2、游戏玩家留存分析
涉及技术
使用Spark Core和DataSet分析玩家的行为。熟练使用RDD和DataSet
3、游戏玩家留存分析
涉及技术
使用Spark Core和DataSet分析玩家的行为。熟练使用RDD和DataSet
4、游戏玩家区域分析
涉及技术
使用Spark Core和DataSet分析玩家的行为。熟练使用RDD和DataSet
5、游戏玩家等级分析
涉及技术
使用Spark Core和DataSet分析玩家的行为。熟练使用RDD和DataSet
6、游戏玩家在线时长分析
涉及技术
使用Spark Core和DataSet分析玩家的行为。熟练使用RDD和DataSet
7、游戏玩家充值可消费分析
涉及技术
使用Spark Core和DataSet分析玩家的行为。熟练使用RDD和DataSet

模块五:实时业务

1、玩家实时充值情况
涉及技术
使用SparkStreaming消费Kakfa中的玩家实时数据,实时统计玩家的充值消费行为,监控使用外挂的非法玩家。
2.玩家充值成功率实时统计
涉及技术
使用SparkStreaming消费Kakfa中的玩家实时数据,实时统计玩家的充值消费行为,监控使用外挂的非法玩家。
1.玩家外挂实时排查
涉及技术
使用SparkStreaming消费Kakfa中的玩家实时数据,实时统计玩家的充值消费行为,监控使用外挂的非法玩家。

模块六:数据可视化

1、JavaEE三大框架环境搭建
涉及技术
SpringMVC、Spring、Mybatis)搭建数据管理平台、使用Echarts实行数据可视化。
1、Echarts报表的使用
涉及技术
SpringMVC、Spring、Mybatis)搭建数据管理平台、使用Echarts实行数据可视化。

课程特色

该项目中使用了Flume、Kafka、Spark Core、Spark Steaming、Elasticsearch、Redis、Echarts等前沿技术,将前面学到的知识点应用于项目实战,从而达到融会贯通的目的;
该项目是一个游戏数据分析项目,但其中的指标和业务流程与社交平台、App应用、门户网站的后台数据分析大同小异,通过该项目完全可以达到触类旁通的目的,完全可以驾驭其他类似的项目
项目部分效果图

项目实战代码片段截图(点击图片可放大)

可视化效果展示(点击图片可放大)

可视化效果展示(点击图片可放大)

可视化效果展示(点击图片可放大)

可视化效果展示(点击图片可放大)

可视化效果展示(点击图片可放大)

模块一:广告行业现状

1、广告行业现状分析
涉及技术
传统广告和互联网广告投放优劣PK
2、广告行业知识介绍
涉及技术
互联网广告的程序化采买概念
3、DSP业务需求详解
涉及技术
SSP详解
AD Exchange详解
RTB实时竞价详解
DSP平台详解
DMP平台详解

模块二:项目背景

1、项目背景介绍
涉及技术
DMP平台建设的必要性分析
2、项目业务流程梳理
涉及技术
DMP业务流程详解
3、项目技术架构分析
涉及技术
DMP技术架构设计分析
4、日志采集
涉及技术
日志采集方案设计分析
5、日志格式
涉及技术
日志格式详解

模块三:项目数据采集

1、Flume自定义插件详解
涉及技术
Flume自定义插件开发流程详解及实际场景应用;
source、channel、sink的使用详解及实战经验;
Flume HDFS sink深入剖析及实战经验;
数据存储目录结构设计;
2、Flume组件使用详解
涉及技术
Flume自定义插件开发流程详解及实际场景应用;
source、channel、sink的使用详解及实战经验;
Flume HDFS sink深入剖析及实战经验;
数据存储目录结构设计;
3、Flume采集日志到HDFS
涉及技术
Flume自定义插件开发流程详解及实际场景应用;
source、channel、sink的使用详解及实战经验;
Flume HDFS sink深入剖析及实战经验;
数据存储目录结构设计;
4、日志存储目录设计
涉及技术
Flume自定义插件开发流程详解及实际场景应用;
source、channel、sink的使用详解及实战经验;
Flume HDFS sink深入剖析及实战经验;
数据存储目录结构设计;

模块四:项目背景

1、parquet选型
涉及技术
Paruqet存储原理详解
2、Parquet优势分析
涉及技术
Parquet存储优点详解
3、Parquet实战
涉及技术
日志文件转Parquet文件实战

模块五:离线业务

1、日志数据量分布统计
涉及技术
Spark SQL实战
2、广告投放效果地域分析
涉及技术
Spark Transformations各算子在各业务模型中的实战应用;
Spark Spark Action的实战应用最佳实践经验;
Spark SQL在项目数据分析业务场景中的各类复杂应用,如 如参与竞价数、竞价成功数、竞价成功率、ECPC、ECPM等。
3、广告投放效果渠道分析
涉及技术
Spark Transformations各算子在各业务模型中的实战应用;
Spark Spark Action的实战应用最佳实践经验;
Spark SQL在项目数据分析业务场景中的各类复杂应用,如 如参与竞价数、竞价成功数、竞价成功率、ECPC、ECPM等。
4、广告投放效果终端分析
涉及技术
Spark Transformations各算子在各业务模型中的实战应用;
Spark Spark Action的实战应用最佳实践经验;
Spark SQL在项目数据分析业务场景中的各类复杂应用,如 如参与竞价数、竞价成功数、竞价成功率、ECPC、ECPM等。
5、广告投放效果媒体分析
涉及技术
Spark Transformations各算子在各业务模型中的实战应用;
Spark Spark Action的实战应用最佳实践经验;
Spark SQL在项目数据分析业务场景中的各类复杂应用,如 如参与竞价数、竞价成功数、竞价成功率、ECPC、ECPM等。

模块六:实时业务

1、广告日志到Kafka
涉及技术
使用Spark Streaming结合Kafka对业务指标进行实时统计分析,并将计算的结果数据存储到Redis中Kafka分区调优应用;
Kafka整合Spark Streaming的数据可靠性优化实战;
Kafka整合Spark Streaming的吞吐量协调优化实战;
2、媒体数据实时分析
涉及技术
Spark Streaming在复杂业务模型下的逻辑开发实战;
Spark Streaming线上环境各类复杂异常处理经验;
Spark Streaming线上环境各类监控、JVM优化经验
3、渠道数据实时分析
涉及技术
DMP平台建设的必要性分析

模块七:项目背景

1、标签体系建设
涉及技术
定制一套标签体系
2、用户上下文标签
涉及技术
使用Spark Transformations、Action、Broadcast及外部爬虫抓到的网络数据进行处理分析将数据标签化
3、统一用户识别
涉及技术
使用Spark GraphX算法,对数据进行分析处理,识别出同一用户跨多个设备的问题
4、基于地理位置的广告投放
涉及技术
使用GEOHASH算法结合HBASE解决用户的地理位置识别问题
5、用户数据标签聚合
涉及技术
使用Spark Transformations、Action将上下文标签数据和统一用户数据进行合并
6、HBase存储用户标签
涉及技术
将合并的用户标签数据存储到Hbase中,并根据日志动态扩列
7、用户标签数据衰减
涉及技术
将Hbase中的标签数据按照日期自动衰减,形成当天最新的标签

模块八:数据可视化

1、ElasticSearch
涉及技术
使用Echarts、ELK将Hbase中的数据做可视化的web平台;
Echarts实际应用实战技能;
ELK实际应用实战技能;
2、Echarts
涉及技术
使用Echarts、ELK将Hbase中的数据做可视化的web平台;
Echarts实际应用实战技能;
ELK实际应用实战技能;
3、标签可视化平台建设
涉及技术
使用Echarts、ELK将Hbase中的数据做可视化的web平台;
Echarts实际应用实战技能;
ELK实际应用实战技能;

查看完整大纲

课程特色

最火爆广告行业数据分析场景,结合最火爆大数据技术体系SPARK,完整重现基于SPARK体系的大数据广告数据挖掘分析系统;
本项目课程涵盖数据处理全流程,综合性超强
本项目课程全方位立体呈现高吞吐量情境下的数据采集、数据预处理、高并发大吞吐量实时流式处理、离线批量处理、数据仓库存储优化、海量分布式消息系统等前沿高端技术
本项目课程全方位真实还原广告行业数据分析模型、地理位置信息处理、广告行业用户画像标签体系、广告行业用户画像设计思想
学好本项目课程,搞定spark开发工程师岗位,所向披靡,志在必得!!!
项目部分效果图

项目实战代码片断截图(点击图片可放大)

标签统计可视化展示(点击图片可放大)

模块一:项目背景介绍

1、实时充值监控平台项目背景详解
涉及技术
充值离线统计及实时统计分析

模块二:需求分析详解

1、业务概况指标详解
涉及技术
涉及技术
对项目中各个业务指标进行实战前详解;
切身投入,参与项目,熟悉项目在企业开发中具体的细节及开发流程;
2、各省充值数据分析详解
涉及技术
涉及技术
对项目中各个业务指标进行实战前详解;
切身投入,参与项目,熟悉项目在企业开发中具体的细节及开发流程;
3、充值业务时长分析
涉及技术
涉及技术
对项目中各个业务指标进行实战前详解;
切身投入,参与项目,熟悉项目在企业开发中具体的细节及开发流程;
4、充值机构排名统计
涉及技术
涉及技术
对项目中各个业务指标进行实战前详解;
切身投入,参与项目,熟悉项目在企业开发中具体的细节及开发流程;
5、充值数据分析
涉及技术
对项目中各个业务指标进行实战前详解;
切身投入,参与项目,熟悉项目在企业开发中具体的细节及开发流程;

模块三:项目架构设计

1、日志采集
涉及技术
Flume日志采集Agent的source、channel、sink的使用详解及实战经验;
2、Kafka消息队列设计
涉及技术
Kafka消息队列实战;
Kafka的broker配置、producter配置、consumer配置、Topic详解及实战;
Kakfa Low-Level API;
Kakfa Hight-Level API;
Zookeeper详解及实战;
3、Spark Streaming业务处理
涉及技术
Spark streaming的DStreams使用详解;
Input DStreams and Receivers详解及实战;
Transformations on DStreams详解及实战;
Output Operations on DStreams详解及实战;
DataFrame and SQL Operations详解及实战;
Checkpointing详解及实战;
4、存储选型
涉及技术
Redis存储实时计算结果数据
Redis使用详解及实战;

模块四:项目业务实战

1、实时概况:充值订单量
涉及技术
Spark Streaming整合Kafka实战,通过案例需求对Spark Streaming中的API进行综合性的案例演练;
2、实时概况:充值金额
涉及技术
使用Spark Streaming结合Kafka对业务指标进行实时统计分析,并将计算的结果数据存储到Redis中Kafka分区调优应用;
3、实时概况:充值成功率
涉及技术
Kafka整合Spark Streaming的数据可靠性优化实战;
4、实时概况:充值平均时长
涉及技术
Kafka整合Spark Streaming的吞吐量协调优化实战;
5、省份实时:充值订单量TOP10
涉及技术
Spark Streaming在复杂业务模型下的逻辑开发实战;
6、省份实时:业务失败TOP5
涉及技术
Spark Streaming线上环境各类复杂异常处理经验;
7、省份实时:业务平均时长TOP10
涉及技术
Spark Streaming线上环境各类监控、JVM优化经验;
8、实时充值笔数和金额统计
涉及技术
ElasticSearch+Kibana快速构建报表详解及实战;
9、充值机构实时分布排名
涉及技术
Echarts详解及实战,将统计结果通过图表的方式做动态展示;

模块五:项目成果总结

1、项目成果汇报展示
涉及技术
该阶段主要由学员汇报所做项目结果,展示分享;
总结在Spark Streaming开发过程中遇到的问题;
总结Spark Streaming实战过程问题解决方案;
2、项目问题总结
涉及技术
该阶段主要由学员汇报所做项目结果,展示分享;
总结在Spark Streaming开发过程中遇到的问题;
总结Spark Streaming实战过程问题解决方案;
3、项目难点总结
涉及技术
该阶段主要由学员汇报所做项目结果,展示分享;
总结在Spark Streaming开发过程中遇到的问题;
总结Spark Streaming实战过程问题解决方案;
项目部分效果图

项目实战代码片断截图(点击图片可放大)

标签统计可视化展示(点击图片可放大)