ID:284574

ll

数仓开发工程师

  • 公司信息:
  • 深圳市金信云服信息科技有限公司
  • 工作经验:
  • 5年
  • 兼职日薪:
  • 700元/8小时
  • 兼职时间:
  • 可工作日驻场(离职原因)
  • 所在区域:
  • 武汉
  • 全区

技术能力

精通Oracle,Mysql,Sqlserver等数据库的操作
精通使用PL/SQL编写存储过程,自定义函数,实现数据同步和指标运算
熟悉SQL性能调优, 可根据SQL的写法结合执行计划对sql进行改写,实现性能优化
熟悉维度建模的各种模型如星型模型、雪花模型等
熟练使用Kettle对数据进行清洗,转换,加载
有大数据分布式计算平台开发经验,熟悉Hadoop、Hive等相关架构
熟练掌握Finereport,使用可视化工具完成报表开发
熟悉 linux 系统以及第三方工具 Xshell、Xftp 使用,掌握Linux常用命令
熟悉运用Azkaban,Kettle进行任务调度
熟悉Java语言,shell脚本

项目经验

项目名称:银行逾期贷款项目
项目概述:该项目主要统计客户贷款情况,通过逾期占比,不良贷款率指标,围绕用户基本信息,用户行为属性,初始评级,性别,年龄段,借贷类型,利率,金额等维度,通过抽取源数据加工汇总分析数据,以可视化报表形式进行展示。
责任描述(一期传统数仓):
1、参与需求交接,了解业务需求;
2、根据需求要实现的功能进行目标表的设计,确定目标表的维度和粒度;
3、根据数据字典及设计文档,确认取数逻辑,依赖关系,数据抽取等;
4、按照开发规范编写存储过程,仔细核对字段映射和细节,并加上日志和异常处理,确保存储过程正常编译和运行,确认数据一致性和正确性。
5、根据计算指标制作集市层宽表创建存储过程将数据同步集市层为报表展示提供数据支撑
6、通过Kettle将存储过程脚本部署到Job中,实现任务自动调度
7、开发完成后进行单元测试,判断数据是否符合业务需求,提交审评
责任描述(二期大数据改造):
1、参与需求分析,探讨改造流程
2、将业务库数据上传到Hadoop
3、利用hive对数仓进行ods-dim,dwd-dws-ads分层
4、按照原取数逻辑编写shell脚本进行数据同步,清洗得到集市层宽表
5、根据原计算指标将所需数据同步到ads层供可视化开发
6、将各层脚本写入Job通过azkaban创建任务调度
7、根据原数仓数据进行单元测试,提交审评
技能和工具:Oracle,Plsql,Kettle,FineReport,Hadoop,Hive,Linux常用命令,Shell脚本,Azkaban

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服