搭建部署elasticsearch+logstash+kibana+redis+filebeat日志搜集集群
项目职责:部署整套日志搜集集群
项目描述:
1、部署java环境 搭建部署 elk
2、将logstash接入redis日志数据消费
3、在需要搜集日志的服务器上安装filebeat并将数据传入redis
4、将elk日志搜集系统与zabbix监控系统集成 实现特定的日志报警
5、通过脚本对报警日志进行字段格式化输出 并将不同业务的日志发送给相应业务的开发人员
6、对日志数据传输进行加密 防止数据泄露 对kibana访问进行ldap集成 实现账户的统一管理
项目成果:
实现日志的实时搜集,并且通过自定义正则字段的截取使日志在查看上更加的方便,提高工作效率 并通过制作dashboard使各项数据可视化 最后通过zabbix对elk日志的监控实现日志报警 并对日志做加密传输 对kibana访问做访问权限控制 对相关服务组件进行优化 提高性能