1. 熟悉 Oracle 数据库,PL/SQL 编写存储过程,拥有上万行代码,大数据量,复杂逻辑的二次开发经验
2. 熟悉 SQL,熟悉常用字符函数、聚合函数、分析函数等,熟悉 SQL 性能优化方法
3. 熟悉数据仓库理论,数仓分层,维度模型等等
4. 熟练使用 hive,spark 结合 Python 对数据的 ETL 等工作
5. 熟练使用 control-m 进行作业任务的调度、监控,并会开发简单的调度任务
6. 了解使用 BI 数据报表工具 FineReport 对数据进行可视化,报表制作等
7. 会使用 ETL 的数据工具 Kettle,datastage 对数据进行抽取、清洗、转化、加载等
8. 能独立进行 CDH 大数据平台的部署,已在个人 PC 上通过虚拟机搭建了 3 个节点
9. 熟练使用阿里大数据中台 dataphin 进行 ETL 开发,数据管道开发,调度运维监控,quickBI 报表开发
:该项目在华润银行智能科技数据管理部⻔,部⻔利用CDH集群和ORACLE数据库提供各
种数据支持,数据治理,数据资产管理,报表看板等需求
职责描述 :1.参与银行个贷业务线项目组需求分析,梳理数据链路,数仓各层数据开发
2.梳理多个系统的数据、关联相关业务,把控多个系统的数据采集,解析,入库
3.小组内开发任务,包括表结构设计,集市层/公共层模型设计,数据 ETL
4.oracle,spark,hive 开发,python 脚本开发,dataphin 数据中台开发
5.个人脚本测试,提交脚本至 git 仓库,control-m作业,任务的调度监控
个人成果 :1.多个个贷产品(京东,美团,分期乐)模型前端监控开发,模型后端KS模型值,
AUC模型值的设计,开发,并完成后续业务对模型数据的需求
2.个贷的监管报送核销借款,还款明细表的设计,脚本开发
3.EDM公共层个人征信报告表设计,开发,前端 quickBI 报表开发
4.其他个贷业务线,包括各类审批决策相关表结构设计,ETL 开发,脚本开发等