精通Oracle,Mysql,Sqlserver等数据库的操作
精通使用PL/SQL编写存储过程,自定义函数,实现数据同步和指标运算
熟悉SQL性能调优, 可根据SQL的写法结合执行计划对sql进行改写,实现性能优化
熟悉维度建模的各种模型如星型模型、雪花模型等
熟练使用Kettle对数据进行清洗,转换,加载
有大数据分布式计算平台开发经验,熟悉Hadoop、Hive等相关架构
熟练掌握Finereport,使用可视化工具完成报表开发
熟悉 linux 系统以及第三方工具 Xshell、Xftp 使用,掌握Linux常用命令
熟悉运用Azkaban,Kettle进行任务调度
熟悉Java语言,shell脚本
项目名称:银行逾期贷款项目
项目概述:该项目主要统计客户贷款情况,通过逾期占比,不良贷款率指标,围绕用户基本信息,用户行为属性,初始评级,性别,年龄段,借贷类型,利率,金额等维度,通过抽取源数据加工汇总分析数据,以可视化报表形式进行展示。
责任描述(一期传统数仓):
1、参与需求交接,了解业务需求;
2、根据需求要实现的功能进行目标表的设计,确定目标表的维度和粒度;
3、根据数据字典及设计文档,确认取数逻辑,依赖关系,数据抽取等;
4、按照开发规范编写存储过程,仔细核对字段映射和细节,并加上日志和异常处理,确保存储过程正常编译和运行,确认数据一致性和正确性。
5、根据计算指标制作集市层宽表创建存储过程将数据同步集市层为报表展示提供数据支撑
6、通过Kettle将存储过程脚本部署到Job中,实现任务自动调度
7、开发完成后进行单元测试,判断数据是否符合业务需求,提交审评
责任描述(二期大数据改造):
1、参与需求分析,探讨改造流程
2、将业务库数据上传到Hadoop
3、利用hive对数仓进行ods-dim,dwd-dws-ads分层
4、按照原取数逻辑编写shell脚本进行数据同步,清洗得到集市层宽表
5、根据原计算指标将所需数据同步到ads层供可视化开发
6、将各层脚本写入Job通过azkaban创建任务调度
7、根据原数仓数据进行单元测试,提交审评
技能和工具:Oracle,Plsql,Kettle,FineReport,Hadoop,Hive,Linux常用命令,Shell脚本,Azkaban