Spring、Spring MVC、Spring Boot、Spring Cloud、Mybtis Plus、JPA。
MySQL、SqlServer、Redis、Neo4j、PgSQL。
Tomcat、Nginx 、Jenkins。
Docker、RabbitMQ、Nacos、Elasticsearch、Zookeeper、Mycat、Activiti 、K8S。
Vue、Jquery、Layui、ElementUI、Ant Design 。
项目名称:数据治理平台
项目职位:技术总监
项目描述:随着多年来信息化、数字化的建设和发展,油气矿各方面的业务管理类数据库也越来越多,数据库中数据表的数量也越来越多、数据量也在不断的上升,数据的版本、数据之间的关系也越来越复杂。数据及数据库管理难度越来越大,为针对这些问题,需要定义一套统一的标准来进行管理,对原有的系统进行改造,提升数据的质量,建成一套全面、高质量的数据治理工具。
技术使用:Spring Boot、Magic API、MySQL、Mybatis Plus、Redis、Neo4j、Activiti、ETL、Ant Desgin、Vue。
功能模块:数据地图、标准统计、标准制定、标准发布、标准审核、资源目录管理、元数据管理、数据服务管理、主数据管理、质量监控、质量评估、规则库、数据分级、数据加密、数据脱敏、数据血缘和影响分析。
职责描述:
负责项目管理,产品研发部门的工作任务分配,工作细化划分,保证项目按时上线。
负责标准制定、标准发布、标准审核、元数据管理、主数据管理、数据分级、数据加密、数据脱敏、数据血缘和影响分析等功能模块的接口与页面开发。
负责核心功能的开发,主导技术难题攻关,保证系统的稳定性。
配合Activiti工作流组件,实现标准制定后的标准发布的流程控制。
集成图数据库Neo4j,完成数据血缘与影响功能,且能够追溯数据的来源与走向。
前端集成3dgraph模块,展示数据节点与节点之间的连接信息。
编写ETL采集数据,并对不合理的数据做清洗并告警提示。
帮助客户完成服务器配置与安装;部署数据治理与ETL调度平台,并集成到客户的一体化平台中。