本人能够掌握以下技能:
1 熟练使用linux系统
2熟练使用nodejs、java等后端技术,熟练使用angularjs、bootstrap、jquery等前端技术,会Python基础。
2 熟悉安装部署及使用elasticsearch、redis、kibana、logstash、grafana、zepplin等(熟悉kibana源码,熟悉kibana插件开发);
3了解cassandra、mongoDB等数据库、了解storm、spark streaming等分布式计算开源软件。
3 熟悉MVC体系结构模式、B/S模式,掌握面向对象的设计开发思想;
4 熟练掌握JSP、Servlet、JavaBean、Struts、Hibernate、spring等相关技术,熟练运用HTML、CSS、XML、JavaScript等页面控制技术。
一、大数据平台下日志分析系统
日志分析系统是大数据平台下对数据进行实时交互式查询,对查询结果进行实时数据分析,生成报表和仪表盘,并且对异常数据进行以邮件等方式实时告警的系统。本系统还集成了机器学习、图数据库和以图搜图,以文本搜图等功能,支持对多种数据类型的检索和分析。
日志分析系统中交互式数据探索子系统通过创建数据源,执行sql语句等执行数据检索并将检索到的数据保存,数据可视化编排子系统利用创建的数据源或保存的搜索创建报表,进而创建仪表盘。异常告警子系统监控创建的数据源或保存的搜索是否有异常信息,若有异常信息,执行发送邮件、执行脚本等告警事件。