实时机票/火车票抓取系统整体架构

实时机票/火车票抓取系统是一个带有业余性质的系统，主要是作为技术的训练场。比如说ActiveMq，RMI，WebService，即使最原始的Socket也在这里一展拳脚。

大概可以分为几个模块：

对外服务模块：WebService(Axis2)，RMI的方式，原始Socket流方式（主要学习用），HTTP JSON方式。日志监控：提供对抓取的监控，监控抓取网站的规则变化，如果出现抓取错误等提供Email报警。流量/性能监控：经过改造后的系统粒度非常细，运用了责任链的方式来把整个流程串起来，这样可以实现比较细粒度的流量和性能监控，可以知道每个流程节点（Handler）的流量情况和性能情况，5分钟把数据刷到DB。最后以报表图的方式展现出来。实现限流/监控功能。抓取工具：顾名思议，作为业务最核心的部分，实现对网站规则的解析。

各模块讲完，上一张整体的架构图：

3楼5iasp3天前 09:18

不错!代码可以分享出来吗?

Re: luohuacanyue3天前 13:09

回复5iaspn目前这块的独立性太差，因为主要是练技术，所以随意性很强，后面完善后会考虑分享给大家。

2楼mazhaojuan3天前 08:04

框架很好看啊！

1楼xichji4天前 14:09

哈哈，不知道真的采用你这个框架了，会有什么情况发生。