1、熟练使用python、shell、go等语言
2、熟悉linux操作系统
3、熟悉docker、k8s等虚拟化容器技术
4、熟悉mysql、redis、mongo等数据库
5、熟悉kafka、rabbitmq、rocketmq等消息队列
6、熟悉hdfs、hbase、zookeeper、hive等大数据技术
7、熟悉各大云服务器厂商平台
8、熟悉prometheus、grafana等监控技术
9、熟悉es、kibana等日志收集、分析技术
10、熟悉ngninx、slb等负载均衡技术
1、负责大数据集群运维,包括但不限于加减磁盘、节点,处理异常磁盘、节点,备份集群等,保证集群正常稳定运行。
2、负责监控系统搭建,包括但不限于prometheus和grafana的搭建,以及开发agent收集监控数据上传至prometheus,负责grafana图表的配置、报警配置等。
3、负责k8s集群运维,包括但不限于上下线服务、优化服务、优化集群、处理异常等。
监控系统,大屏展示各接口访问次数、接口响应时间、访问ip来源统计、消息队列堆积量、数据库服务器出入流量等信息,超过设定阈值会发送告警至企业微信和邮箱,恢复至阈值以下也会发送恢复通知,本人在此项目中负责开发测试运维。
搭建cloudera manager集群,部署各大数据组件,配置告警服务,发送告警至企业微信和邮箱。