对kafka、elasticsearch、impala、hbase有一定了解。
熟悉应用分布式Redis缓存数据库
阅读过HashMap、ConcurrentMap、线程池、AbstractQueuedSynchronizer、ThreadLocal等源码
对单例模式、适配器模式、装饰者模式、生产消费者模式有一定了解
对shell脚本有一定了解,会编写简单的shell脚本
对开源项目xxl-job有一定了解
熟练使用Spring,SpringMVC,MyBatis、SpringBoot等开源框架,了解框架的设计模式及架构思想
使用Maven构建项目和module特征、传递依赖、继承机制、聚合机制来管理项目
熟悉使用Nginx+Tomcat负载均衡搭建集群
熟练掌握Java知识,具备良好的面向对象编程思想,有扎实良好的编程习惯以及代码规范
对linux有一定的了解,熟悉常用的Linux命令
熟练使用httpClient实现异构系统之间的访问
熟练使用数据库触发器、存储过程
熟悉dubbo实现异构系统之间访问
对scala语言有所了解,能看懂简单spark,sparkstreaming源码
GK二期互联网治理平台
围栏设备、非经设备等一些设备采集数据上传到系统,由CMI-COMM程序和UC接口程序转换成json格式数据,Data2X组件读取日志进行数据清洗转换写入kafka集群。SparkingStreaming程序读取kafka日志,抽取信息,将身份关系和身份信息写入到hbase,将Mac信息协议信息写入到redis集群,同时抽取所有可用数据到impala中。
DataETL组件提供数据接口,ga-mass-es组件读取数据接口将数据写入源数据elasticsearch和orientDB中。
Ga-mass-nimcapture组件读取kafka集群中日志,抽取告警数据写入MySQL中和elasticsearch一个索引中。
Ga-mass-timer组件定时分析任务(后转到xxl-job开源项目中)。
Ga-mass-web组件,数据展示。
1、意向单、预核保件、渠道管理开发 2、返现、websocket开发 3、推修管理开发,与多部门合作开发,跨部门合作
围栏设备、非经设备等一些设备采集数据上传到系统,由CMI-COMM程序和UC接口程序转换成json格式数据,Data2X组件读取日志进行数据清洗转换写入kafka集群。SparkingStreaming程序读取kafka日志,抽取信息,将身份关系和身份信息写入到hbase,将Ma