海量日志分析处理系统 一、开篇

????? 目前正在写一个日志处理系统，虽然业务很简单，但是感觉想把它做大做强，还是有很多东西可以挖掘的，希望能在这里把整个过程记录下来，对自己的积累做个总结。

?

????? 计划使用如下技术构建整个系统。

?

????? 1. 使用scribe集群完成日志收集

????? 2. 使用hadoop集群完成日志分析处理

????? 3. 使用hbase完成分析结果的存储

????? 4. 使用hightchar作为前端UI的展示工具

?

????? 计划编写如下程序完成整个系统

?

????? 1. scribe客户端程序，负责将日志内容通过管道写入scribe

????? 2. scribe中心端程序，负责将收集的日志上传到hadoop

????? 3. 日志分析处理程序，负责对hdfs中的日志分析处理

????? 4. hbase客户端程序，负责对rest接口返回查询结果

????? 5. 前端web展示程序，负责解析xml并以报表方式展示

1 楼 xvm03 2011-04-26 要坚持呀，一定要完整记录整个过程，顶你