java 熟悉java8流式处理及异步编程
spark 熟悉spark core、spark sql、spark streaming 常用的用法,了解内部实现原理及性能调优
Hadoop 熟悉HDFS用法及了解内部原理
scala 了解基本编程
Python 熟悉python编程
其他熟悉MySQL、数据结构、jvm、设计模式、高并发、spring、kafka、rabbitmq、Redis等
1、性能监控系统
从运营商设备采集设备指标信息,解析成实体和性能数据上报入库,入库模块将,探针上报的数据进行合并,作为流处理的数据来源,并发送kafka消息,流处理将上报的数据进行处理并创建和更新分片信息,一旦分片信息有变化,批处理就会获取分片数据,将tql翻译成spark sql提交到spark集群进行汇聚,汇聚处理的结果供报表查询,展示给客户,同时还包含告警模块,一旦超出设定的阈值就会产生告警。
本人主要负责探针模块和批处理模块,其中涉及到技术主要包括java并发、csv和xml文件解析、spark等
2、异构云监管平台
主要为企业提供一个大数据级别的云计算管理平台,该平台实现了阿里云、腾讯云、华为云、微软云、亚马逊云等的对接,同时将数据进行本地化处理,进行数据分析,然后向客户展示一些报表信息
本人主要负责阿里云和腾讯云的对接项目,在其中起主导作用,曾单独出差一个月,在客户现场对接阿里私有云。