职责:负责搭建 ELK 来收集系统日志、APP 应用访问错误日志、微服务日志
在企业级的微服务环境中,跑着成百上千个服务都算是比较小的规模了。在生产环境上,日志扮演着很重要的角色,排查异常需要日志,性能优化需要日志,业务排查需要业务等等。然而在生产上跑着成百上千个服务,每个服务都只会简单的本地化存储,当需要日志协助排查问题时,很难找到日志所在的节点。也很难挖掘业务日志的数据价值。那么将日志统一输出到一个地方集中管理,然后将日志处理化,把结果输出成运维、研发可用的数据是解决日志管理、协助运维的可行方案,也是企业迫切解决日志的需求。因此在这样的环境下,公司领导同意搭建 ELK 集群日志收集系统。通过 logstash 将 nginx、tomcat 等 web 服务访问日志和错集完成之后输出至 elasticsearch, logstash 结合 kafka实现多 nginx 服务器访问日志、错误日志及系统日志的收集,最后把收集的数据通过 kibana 展现出来,后期遇到问题可以通过 kibana 查看快速的解决当前出现的问题及分析问题出现的原因,找出解决方案尽量以后再次出现同样的问题