1,掌握机器学习算法和神经网络算法的使用和原理,sklearn,tensorflow,keras都有涉及
2,掌握pandas,numpy,matplotlib,seaborn等常用数据分析工具
3,熟悉Python Web开发,tornado,flask, django框架都有项目经验
4,熟练使用celery,gunicorn,gevent等工具优化web性能
5,熟练使用saltstack,open-falcon,mongodb,elasticsearch,kafka,redis等监控运维及存储工具
上证信息运维自动化平台
2018.04-2018.10
项目职务: python高级工程师
项目描述: 开发一个界面友好、操作简单、功能丰富、易扩展的运维自动化平台,主要功能有:资产管理、应用程序管理、任务管理、作业中心、用户管理、审计管理等。
项目职责:
1,系统架构设计,技术选型和方案设定;
2,基于flask和flask-restplus和restful接口规范,开发各功能模块的接口;
3,基于celery任务队列,提供统一的任务调度执行功能;
4,利用saltstack运维管理工具,实现运维操作的执行。
项目业绩:
成功管理上证信息公司运营的众多应用系统,包括有有行情发布服务、上证云平台、上交所官网、上交所APP、上证e互动等,管理应用服务器规模已经达到4000多台
日志采集监控系统
2017.03-2017.12
项目职务: python高级工程师
项目描述: 开发众安保险内部的日志监控告警告警系统,包括异常日志的采集模块,异常分析规则生成模块,分析模块以及告警模块。
项目职责:
1,采用开源日志采集工具filebeat进行收集日志信息发送到kafka,将日志存储到后台elasticsearch;
2,利用开源运维组件saltstack,结合tornado框架,开发针对filebeat的web管理控制台,实现filebeat的开始、重启已经停止,并实现filebeat配置文件的统一管理;
3, 结合tornado框架,开发日志查询平台及分析告警规则的配置管理平台,将用户自主定义的个性化分析规则实现持久化存储到mongodb,用于后续日志分析流程的使用。
4,整合公司已有的告警信息投递通道,建设统一的信息投递中心,使用tornado框架开发告警通道统一的api接口,celery任务框架用来执行具体的告警信息的投递
项目业绩:
用户日志接入方便,轻松实现日志的自动过滤和分析以及异常日志的告警,延迟率能控制在分钟级。最大单日日志处理能力过亿条。