首家大数据培训挂牌机构 股票代码:837906 | EN CN

Storm分布式集群环境搭建经验分享

于2017-03-16由小牛君创建

分享到:


1.1 Storm版本

选用Storm 0.9.6

 

1.2 本地模式

 

本地模式在一个进程里面模拟一个storm集群的所有功能, 这对开发和测试来说非常方便。以本地模式运行topology跟在集群上运行topology类似。

要创建一个进程内“集群”,使用LocalCluster对象就可以了:

import backtype.storm.LocalCluster;

LocalCluster cluster = new LocalCluster();

然后可以通过LocalCluster对象的submitTopology方法来提交topology, 效果和StormSubmitter对应的方法是一样的。submitTopology方法需要三个参数: topology的名字, topology的配置以及topology对象本身。你可以通过killTopology方法来终止一个topology, 它需要一个topology名字作为参数。

要关闭一个本地集群,简单调用:

cluster.shutdown();

就可以了。

 

1.3 分布式环境

1.3.1在nimbus、slave1、slave2机器的主目录下分别下载storm安装包

wget http://apache.fayea.com/storm/apache-storm-0.9.6/apache-storm-0.9.6.tar.gz

1.3.2创建storm目录,并将安装包移到storm目录下

1.3.3进入storm目录,并解压该安装包

1.3.4Storm配置文件修改

 

进入storm配置目录下,修改配置文件storm.yaml

 

注意创建/var/data/storm目录

 

 

1.3.5配置环境变量
1.3.6退出hadoop账户再重新进入,查看环境变量是否导出
1.3.7启动storm

1.3.8通过Storm UI查看storm集群是否正常