wget http://download.zeromq.org/zeromq-2.1.7.tar.gz
tar -xzvf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
sudo apt-get install gcc
sudo apt-get install g++
sudo apt-get install libuuid-dev
./configure
sudo apt-get install make
make
sudo make install
sudo apt-get install git
git clone https://github.com/nathanmarz/jzmq.git
cd jzmq
sudo apt-get install pkg-config
./autogen.sh
./configure
touch src/classdist_noinst.stamp
cd src
javac -d . org/zeromq/*.java
cd ..
make
sudo make install
wget https://dl.dropboxusercontent.com/s/fl4kr7w0oc8ihdw/storm-0.8.2.zip
sudo apt-get install unzip
unzip storm-0.8.2.zip
cd storm-0.8.2
sudo vi /etc/profile
增加:
export STORM_HOME=/home/ysc/storm-0.8.2
export PATH=$PATH:$STORM_HOME/bin
source /etc/profile
vi conf/storm.yaml
增加:
storm.zookeeper.servers:
- "host001"
nimbus.host: "host001"
storm.local.dir: "/home/ysc/storm"
supervisor.slots.ports:
- 6700
- 6701
- 6702
-6703
启动主节点
storm nimbus &
启动从节点
storm supervisor &
启动WEB服务
storm ui &
git clone https://github.com/nathanmarz/storm-starter.git
cd storm-starter
sudo apt-get install maven2
vi m2-pom.xml
改变下面两个依赖的版本为3.0.3
<dependency>
<groupId>org.twitter4j</groupId>
<artifactId>twitter4j-core</artifactId>
<version>3.0.3</version>
</dependency>
<dependency>
<groupId>org.twitter4j</groupId>
<artifactId>twitter4j-stream</artifactId>
<version>3.0.3</version>
</dependency>
mvn -f m2-pom.xml package
cp m2-pom.xml pom.xml
mvn eclipse:eclipse
导入eclipse
Java Build Path -> Add Variable… ->Configure Variables… -> New… -> Name: M2_REPO Path:maven存储库路径
本地运行wordcount:
storm jar target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jarstorm.starter.WordCountTopology
集群运行wordcount:
storm jartarget/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jarstorm.starter.WordCountTopology wordcount
Storm相关框架研究交流群,有兴趣的请加Q群:321914133
相关推荐
《大数据技术丛书:Storm实时数据处理》通过丰富的实例,系统讲解Storm的基础知识和实时数据处理的最佳实践方法,内容涵盖Storm本地开发环境搭建、日志流数据处理、Trident、分布式远程过程调用、Topology在不同...
《Storm实战:构建大数据实时计算 》是一本系统并且具有实践指导意义的Storm工具书和参考书,对Storm整个技术体系进行了全面的讲解,不仅包括对基本概念、特性的介绍,也涵盖了一些原理说明。 实战性很强,各章节都...
Storm官方网站有段简介 Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流,像Hadoop批量处理大数据一样,Storm可以实时处理数据。Storm简单,可以使用任何编程语言。
《Storm实战:构建大数据实时计算 》一共分为10章:第1章全面介绍了Storm的特性、能解决什么问题,以及和其他流计算系统的对比;第2章通过实际运行一个简单的例子,以及介绍本地环境和集群环境的搭建,让读者对...
大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性、规模,以及价值在最近几年才经历了...
Storm以及离线数据平台的MapReduce和Hive构成了Hadoop生态对实时和离线数据处理的一套完整处理解决方案。除了此套解决方案之外,还有一种非常流行的而且完整的离线和实时数据处理方案。这种方案就是Spark。Spark本质...
Storm 实战:构建大数据实时计算 PDF带书签完整版。。。。。
大数据实时计算,storm, kafka ,flume ,zookeeper 组件结合完成大数据storm实时计算
《Storm实战构建大数据实时计算》
大数据技术之Storm
大数据系列内部培训经典内容,包括大数据系列架构,大数据Hadoop系列、Spark、Hive、Storm、Hbase、Sqoop......
【46】2018年最新java大数据基于storm开发实时流处理器视频教程 .txt
storm大数据相关代码
1、课程中完整开发3个Storm项目,均为企业实际项目,其中一个是完全由Storm Trident开发。 项目源码均可以直接运行,也可直接用于商用或企业。 2、Storm全面、系统、深入讲解 3、注重实践,对较抽象难懂的技术点如...
使用Storm实时处理交通大数据(数据源:kafka,集群管理:zookeeper).zip
流处理使用Storm进行计算,结果输出到HBase或者数据库。批处理计算使用Hive进行分析计算,结果输出到查询系统和BI(商业智能)平台。 数据分析师可以通过BI产品平台进行交互式的数据查询访问,也可以通过可视化的...