Java基础:熟练掌握java常用包,多线程,反射,集合框架相关知识;
Spring相关:对ioc和aop等概念有深入认识,熟练使用springcloud和springboot进行微服务项目开发,对s
pringboot原理和springcloud的各个组件有一定认知;
数据库相关:熟悉数据库的sql、索引和分表等概念,熟练使用mysql、oracle、pg、db2等关系型数据库,
熟悉mybatis持久层框架;
熟练使用Git和Svn;
熟练使用常用的Shell命令,有搭建部署环境的经验;
了解容器化技术docker和自动化部署工具jenkins;
熟悉redis作为缓存的使用,了解过通过aop和spring的注解对方法进行缓存的技术;
大数据相关:熟悉solr、hbase和hiive等大数据仓库的使用;
熟练使用kafka、rabbitmq等消息队列;
熟悉以nacos作为springcloud的注册和配置中心;
其他:了解python语法,TCP/IP协议;
涉及的技术:脱敏平台开发、网关动态限流、构建多数据源适配、通过mybatis拦截器改造sql;
2018.12 - 至今 标签管理系统 项目主要java工程师
项目描述:对接不同数据源,根据用户页面配置的数据源以及标签信息,对数据进行筛选和可视化开发。
1.负责需求沟通以及大部分的开发工作
2.因该系统适用于不同的项目,所以涉及到该系统的项目都需要参与并进行定制化开发
3.系统的部署环境搭建以及部署和验证工作
2019.08 - 2019.11 数据质量系统 项目java工程师之一
项目描述:根据用户在页面配置的多种规则,对db2数据库的数据进行调度稽核,记录稽核结果并发送邮件至用
户邮箱。
1.负责稽核规则和审批流的开发
2019.07 - 2020.01 数据建模系统 项目主要java工程师
项目描述:根据用户配置的数据源,对数据源中的元数据等进行扫描,在页面上进行可视化展示,用户也可在页
面上对数据源中的元数据进行构建,构建成功之后需要进行审批流程。
1.负责需求沟通、元数据构建和审批流的开发
2.在客户环境部署系统
2020.02 - 至今 标签管理系统产品化 项目主要java工程师
项目描述:根据旧的标签系统遇到的各种需求和场景,对标签系统进行产品化重构。重构过程中,增加了数据集
概念,可以将数据源中的字段进行不同的加工,如文本类型的拆分、截取、分组、映射,数值类型的递增、递减
、数字计算和日期类型的年月日时分秒增减、格式转换、计算跟某日期的差值等。
1.负责需求沟通和主要功能开发
2.解决开发过程中遇到的业务难题
2020.10 - 至今 保单平台系统 项目java工程师之一
项目描述:因甲方需要整理其从不同客户处获取到的数据文件(xlsx,csv,access,txt),并最终整合成甲方可用的数
据。数据流转过程包含文件导入、定义数据项、数据清洗、数据加工和数据标准化。
1.负责数据清洗模块的规则部分,该部分是使用sql对数据进行核验和梳理,根据结果进行告警并将正确数据和
异常数据分别推入不同的表中。
2020.12 - 至今 数据质量系统产品化 项目主要java工程师
项目描述:根据旧的数据质量系统遇到的各种需求和场景,对数据质量系统进行产品化重构。重构过程中,增加
了数据源模块,可根据不同类型的数据库建立数据源,在代码中适配不同数据库的语法,并且将调度流程的pyt
hon脚本改为由java重写。
1.负责需求沟通和主要功能开发
2.梳理调度流程和适配不同数据源的架构开发