会使用CentOS 7 操作系统和 Linux 基础命令;Ansible 自动化运维工具 ,编写剧本及角色的使用;使用 Nginx 服务 ,对 Nginx 服务器进行管理、部署和优化;Lvs、Haproxy 负载均衡和 Keepalived 高可用技术的部署;Shell 脚本中的 grep,sed,awk ,正则表达式 ,及运维脚本的编写; Mysql 数据库的增删改查、数据备份与恢复;Iptables中的Filter表以及Filter表中的Input链、Output链和Forward链;Zabbix 服务器的部署和对数据的监控; Docker 容器和 Kubernetes。
项目名称:粤信业务服务器搭建ELK日志管理系统
项目背景:在日常开发和运维工作中,我们需要对系统产生的大量日志进行有效管理和监控 ,以及对问题进行诊断和排查。在公司利用普通的日志管理方式不太直观,需要手动搜索和过滤,不能快速定位问题,并且日志的历史记录也难以保留。ELK日志管理系统采用了 Elasticsearch、Logstash 和 Kibana 进行集成,能够方便地处理和分析日志,提高了生产效率和节约了时间成本。
项目成本:8 台服务器 ( 3 台 Web 集群、3 台 Elasticsearch 集群、 1 台 Logstash 服务器、 1 台 Kibana)
项目介绍:本项目是搭建一个基于 ELK 的日志管理系统。为了实现项目的功能 ,我们会使用以下技术:
1、Elasticsearch:用于存储和检索日志数据。
2、Logstash:用于采集、过滤和转换日志数据。
3、Kibana:用于展示和可视化日志数据。
项目实施:
1、在本地或云服务器上安装 Elasticsearch ,并配置 Elasticsearch 的相关参数;
2、安装 Logstash ,并通过配置文件指定要采集 ,过滤和转换的日志内容。通过 Logstash 的采集管道,将日志数据发送到 Elasticsearch 中进行存储;
3、安装 Kibana,并配置 Kibana 的相关参数。通过 Kibana 的界面,可以方便地展示和可视化 Elasticsearch 中存储的数据;
4、在完成以上步骤后 ,将部署好的 ELK 日志管理系统进行测试。测试中应包括日志的采集、存储、检索、过滤、转换和展示等环节 ,以验证系统的正确性和实用性。
项目总结:在本项目中 ,我通过搭建一个基于 ELK 的日志管理系统 ,使得对于极其庞大的日志数据的处理和分析变得更加容易和高效。