Storm构建分布式实时处理应用初探 - Newland(6)_H5之家

　　比如我这里是输入：storm jar /home/tj/install/SensitiveTopology.jar newlandframework.storm.topology.SensitiveTopology，然后，把疑似垃圾短信用户的垃圾短信内容文件放到指定的服务器下面的目录（/home/tj/data/591、/home/tj/data/592），最后，打开刚才的Storm UI，观察任务的启动执行情况，这里如下图所示：

　　可以看到我们刚才提交的拓扑：SensitiveTopology已经成功提交到Storm集群里面了。这个时候，你可以鼠标点击SensitiveTopology，然后，会打开如下的一个Spouts/Bolts的监控界面，如下图所示：

　　我们可以很清楚的看到：Spouts组件（用户短信采集器）：SensitiveFileReader591、SensitiveFileReader592的线程数executors、任务提交emitted情况。以及Bolts组件：监控短信内容拆解分析器（SensitiveFileAnalyzer）、敏感信息采集处理（SensitiveBatchBolt）的运行情况，这样监控起来就非常方便。除此之外，我们还可以到对应的Supervisor服务器对应的Storm安装目录下面的logs目录，查看一下worker的工作日志，我们来看下敏感信息监控过滤的处理情况，截图如下：

　　通过SensitiveBatchBolt模块的监控线程，可以看到，我们目前已经采集到了9个敏感信息用户了，我们再来看下，这些包含敏感关键字的用户有没有入库MySQL成功呢？

　　发现入库的结果也是9个，和日志打印的数量上是一致的。而且垃圾短信内容sms_content果然都包含了“racketeer”、“Bad”这些敏感关键字！完全符合我们的预期。而且，以后文件处理量上来了，我们可以通过调整设置Spouts/Bolts的并行度，和Worker的数量进行化解。当然，你还可以通过水平扩展集群的数量来解决这个问题。

　　Storm在Apache开源项目的网址是：，有兴趣的朋友可以经常关注一下。官网上面有很权威的技术规范说明，以及如何把Storm和消息队列、HDFS、HBase有效的集成起来。目前在国内，就我个人看法，对Storm分析应用，做得最好的应该算是阿里巴巴，它在原来Storm的基础上加以改良，开源出JStorm，有兴趣的朋友，同样可以多关注一下。