1,精通JAVA编程语言
2,熟练使用并深入理解spring springboot springcloud redis rabbitmq MySQL flink
3,较强的业务理解能力,系统功能拆分能力
4,熟悉Linux操作命令,shell命令
项目描述: 1,大数据管理平台系统开发,支持从三方机构文件上传平台,解析后并记录到关系型数据库,同时加密文件保存服务器,大数据数仓作为消费者定期通过数据库读取指定类型,状态为生效的文件记录,根据文件路径抽取文件并解密。
2,大数据指标管理平台:供线上平台支持统一查阅数据集市中的维度与指标,透明了解数据集市中的统计口径与逻辑,提出取值逻辑后,帮助各业务侧对于数据集市中的维度指标有共同的了解,可以对接元数据平台,数据资产平台等开源或外采的成熟数据质量相关系统
3,文件解析系统,机构方发送的文件大部分可以被数仓解析存储,特殊格式的复杂文件需要借助 java 端解析之后给到数仓,该系统结合业务侧文件,设计为工厂类型模式适用于不同的文件类型,同时利用 java 多态扩展程序适用于不同的文件内容解析
4,自动化测试平台复杂文件文件生成,借助系统功能快速生成文件,提升测试效率,由用户指定配置,按用户自定义规则生成不同复杂类型文件
责任描述:
1,负责大数据管理系统迭代需求
2,负责指标管理平台对接元数据管理平台Atlas,使用定时任务同步Atlas的元数据到指标平台,作为指标平台的数据源,以此用户可以界面化做出业务所需指标。负责指标管理平台的设计评审,技术实现
3,负责文件处理系统fileprocess的重构和需求迭代,兼容机构方提供的文件内容规则
4,负责自动化测试平台批量文件生成的设计实现
5,为大数据提供hive udf函数。
使用技术包括Springboot,Mybatis,redis,Mysql