主要是作为Leader的角色统筹整个项目,包括项目管理、技术攻关、质量管控、大数据计算体系的搭建与开发。
系统概述:
1、业务前段系统web端。基于VUE进行界面展示。
2、业务接口系统完成业务数据的统计。此子系统基于oracle数据库完成数据的统计,接口方式采用swagger方式公布。
3、计算引擎系统。采用spark计算框架进行计算,计算基于hive数据表进行。将计算的中间数据存入oracle数据库,此系统也采用swagger接口的方式,将springboot与spark 整合,使用程序完成人工的任务提交,以及进行定时任务控制。
4、数据采集、解析系统。从kafka采集数据并解析,将解析的数据存入hive数据仓库。