1、熟悉Linux、Unix等系统工作原理,熟悉TCP/IP、HTTP协议工作原理
2、熟悉nginx/php/mysql/redis/mongodb等,熟悉高可用机制
3、熟悉zabbix、Nagios、Open-Falcon等开源运维监控工具
4、熟悉awk、shell等脚本语言,了解python、docker、kubernetes技术
5、精通负载均衡、双机热备
本项目采用Filebeat+Kafka+ELK+Nginx的架构,目的在于通过统一的日志分析平台,对服务日志进行分析,快速定位问题,及时解决故障,通过 Kibana 进行数据展示
● 首先我们在业务端安装 Filebeat ,通过Filebeat来读取日志文件并将数据发送给Kafka集群
● Kafka在这相当于一个发布订阅模式,Filebeat相当于生产者,采用push模式将数据发布到broker,Kafka顺序读取
● 数据消费端是 logstash,当消息存储到log文件后,消费者就可以消费了。拉取的数据在logstash里做过滤、分析和清洗,然后发送给elasticsearch
● 最后通过Kibana展示出来
● 前端通过Nginx做反向代理转发给Kibana