精通java语言
熟悉hadoop、hdfs、spark、hive等大数据组件开发及运维调优工作
熟悉flink、kafka等实时计算框架
熟悉hue、ooize、azkaban等大数据配套工具
熟悉hudi原生数据湖框架,并有二次开发bug修复能力
熟悉springMVC、springboot等微服务器框架
熟悉服务器运维工作;
千万级设备数据入湖框架开发,主导并开发了千万级物联网设备数据上报,数据实时接入功能,接入速度达到100w/min;
千万级物联网设备数据实时计算:采用flink + kafka组件,实现数据实时清洗、过滤、计算等功能;
2017年开发的低代码平台;由于微服务器盛行,每次添加一个服务时需要重新配置,工作量大且繁杂;低代码平台,实现一键构建服务,并生成前后端界面,表增删改查接口;
hadoop、spark、hive、hdfs、kafka等大数据原生组件搭建,优化; 同时有ambari搭建大数据平台经验,同时也具有ambari二次开发能力;