熟练使用springboot、springcloud等微服务框架技术,熟悉互联网高并发,高可用架构
熟悉mysql、oracle数据库,熟练使用sql语言,sql优化。
熟悉Redis NoSQL技术。
熟悉hadoop,spark大数据存储及计算框架,熟悉scala编程语言
掌握使用kafka activemq的消息队列。
熟悉jvm运行,能进行jvm调优
掌握Linux,具有编写shell脚本,能在Linux环境下进行开发。
熟练运用js、jquery、html、css等前端技术
Spark平台读取kafka数据入Hive
1.使用scala语言编写spark应用,具体表现为使用spark streaming的receiver方式消费kafka的数据,并处理数后通过spark sql的方式写入到hive集群。通过spark的分布式并行计算框架,实现每日千万级别的数据处理。
2. 参与业务查询系统的实现,采用java语言实现获取业务需要的数据,进行处理展现。
清分系统
本人主要负责清分系统下的运营管理系统及消息通讯系统实现。
1. 运营管理系统是业务上层的系统,采用spring MVC实现。界面前后端分离,通过ajax请求后台数据后,在页面上进行展示。部署上,通过weblogic的方式实现集群的部署,以避免单点故障问题。
2. 消息通讯系统,是各个子系统及对接外围系统的统一接口实现。具体实现上,采用active MQ实现消息异步的传递及处理,同时可以保障支持每日高峰数百条的消息并发数。