1、多年Java后端核心代码开发、设计经验,熟练运用MyBatis Plus、Spring(Boot/Cloud),ehcache及其生态等常见Java开发框架 ;
2、熟悉WebService、Dubbo、gRPC、RSockt等多各种远程调用框架;
3、熟悉FTP、SSH、TELNET、SNMP等多种接口采集协议;
4、熟悉MySQL、Oracle、Redis、Tomcat、RabbitMQ、Kafka等多种常见中间件技术;
5、熟悉HDFS、HBase、ElasticSearch等大数据存储分析组件及Flink、Spark计算框架;
6、熟悉docker、k8s、istio等容器、服务网格及相关技术 ;
7、熟悉分布式架构、微服务架构、微前端架构设计与开发;
8、了解webpack、vue、nodeJs、uni-app、jQuery及等前端开发技术。
1、统一采集平台
平台核心功能包括任务多集群调度、拆分与执行,任务模型统一抽象、采集结果分发及采集组件与采集过程监控 ;系统基于Qiankun微前端架构,分为基座、采集子系统、分发子系统、主机监控子系统组成
负责平台整体规划设计及核心框架开发,包括1)规划子系统角色、功能及其制定子系统间其子系统模块间RSocket通信规范;2)基座模块集认证、网关、权限于一体化模型设计与开发;3)任务采集模型抽象,任务执行图生成规则设计;4)任务调度拆分算法设计;5)数据分发订阅、补推模型设计与开发等
2、微服务能力开放与治理平台
基于Spring Cloud + Istio的微服务治理与开放,包括API限速、融断、上线/下线、订阅、多版本发布等功能
负责系统整体设计与后端开发,包括基于Spring Cloud Gateway开发能力网关,支持动态调整路由、限速、融断策略,支持同步生成Istio策略。
3、用户上网日志分析平台
负责用户上网日志的采集及分析工作,通过FlumeNG进行分布式采集,分别落盘HDFS及HBase, 运用Spark 及Spark SQL基于用户上网日志分析应用市场占用率、热门搜索关键字等信息。
系统定位:分布式统一数据批采集平台 主要功能:基于分布式架构、多调度集群隔离策略、批采集任务统计抽象原则,通过插件和适配器扩展机制适用多种批采集场景 职责:系统架构总体方案、模块划分、接口与物理模型设计、核心算法编写等。
系统主要职能包括服务治理和能力开发,支持第三方服务能力的便捷接入或订阅消费已在平台上发布的能力。支持包括但不限于融断、限速、认证、调用链跟踪等治理手段 主要职责是系统总体设计、服务网关后端开发及制定第三方应用、服务、API接入规范。