读书人

Storm中之后可能会出现的几个比较有用

发布时间: 2012-07-15 20:11:40 作者: rapoo

Storm中以后可能会出现的几个比较有用的功能

1、replication

nathan提到可以通过自己实现的Grouping方式来让同一个流发送到不同的机器上,从而达到Replication的效果。

2、Hook

在执行Spout/Bolt的emitted, acked, failed方法前后所执行的Hook.

3、定制某个流发送到特定的某个机器上

可以实现1中的效果,还可以利用本地化进行补数据。由于宕机等事故,导致部分数据丢失需要重跑的时候,我们可以选择将需要重跑的方法依次发送到存储宕机数据的机器上,模仿Hadoop进行补数据。

读书人网 >开源软件

热点推荐