logstash elasticsearch kibana 介绍

参考:http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kibana_log.html

?

日志的分析和监控在系统开发中占非常重要的地位，系统越复杂，日志的分析和监控就越重要，常见的需求有:

• 根据关键字查询日志详情
• 监控系统的运行状况
• 统计分析，比如接口的调用次数、执行时间、成功率等
• 异常数据自动触发消息通知
• 基于日志的数据挖掘

  很多团队在日志方面可能遇到的一些问题有:

  • 开发人员不能登录线上服务器查看详细日志，经过运维周转费时费力
  • 日志数据分散在多个系统，难以查找
  • 日志数据量大，查询速度慢
  • 一个调用会涉及多个系统，难以在这些系统的日志中快速定位数据
  • 数据不够实时

    常见的一些重量级的开源Trace系统有

    • facebook scribe
    • cloudera flume
    • twitter zipkin
    • storm

      这些项目功能强大，但对于很多团队来说过于复杂，配置和部署比较麻烦，在系统规模大到一定程度前推荐轻量级下载即用的方案，比如logstash+elasticsearch+kibana(LEK)组合。

      对于日志来说，最常见的需求就是收集、查询、显示，正对应logstash、elasticsearch、kibana的功能。

      ?

      ?

      更多：

      http://storysky.blog.51cto.com/628458/1158707

      ?

      http://nizq.me/blog/2012/06/11_logstashapache.html?(使用logstash分析Apache日志)

      http://jaseywang.me/2012/12/26/logstash-%E5%88%9D%E4%BD%93%E9%AA%8C/?(logstash 初体验)

      ?

      http://jablonskis.org/2013/elasticsearch-and-logstash-tuning/?(性能调优)