1.精通 SQL及PLSQL开发,对关系型数据库有着较多的经验,特别是ORACLE。
2.熟悉数据仓库以及ETL-BI展示实际工作经验,特别是ORACLE的BI套件有着较多的经验。
3.熟悉商务智能理论和数据仓库概念,掌握数据仓库的架构与设计方法。
4.熟悉 HIVE 结构化查询语句,并对HIVE优化有一定的了解
5.熟悉使kettle 基本操作,对基于社区版kettle进行生产部署、定时调度有着较深入的了解。
6.熟悉帆软报表和润乾报表的制作
7.掌握 Linux 命令,能够进行hadoop、zookeeper、flink进行安装部署等工作
8.掌握 Python,能够使用python进行数据爬取,及数据整合的操作
9.掌握 tomcat 和 weblogic 的部署
10.掌握 java 及一些常用框架如 spring、jpa
11.掌握 hadoop、spark、flink等分布式大数据框架的基本概念及常用操作
12.了解元数据管理与主数据管理
13.了解flinksql的基本操作
14.对ureport2,metabase,积木报表等开源报表有一定的了解
项目名称:华为ERP切换数据仓库适配整改
项目时间:2021.01-2023.01
项目描述:该项目是华为集团使用自研ERP系统替换旧ERP系统。对应的数据应用分析系统数据源需要进行适配整改,避免对下
游业务产生影响。
项目架构:Oracle+guassdb+python+datastage
项目职责:
1.对上游模型进行分析,匹配出对下游的模型影响。
2.对下游影响进行分类,确认影响处理方式,制定整改方案
3.对方案进行评审
4.对不同的方案进行编码开发或者调度调整。
5.整改方案上线及后续优化。
项目名称:翼支付运营报表分析
项目时间:2014.01-2016.04
项目描述:翼支付日常运营报表的维护与开发,后期旧有系统已经不能满足日常的需求,数据运营部门需要一套灵活的dw/bi支撑日常的数据分析。这套系统需要用到OLAP,维度建模、智能展示
项目架构:oralce11g,biee11g,润乾报表
项目职责:
1.对接运营分析团队及业务部门,分析业务需求。
2.根据核心业务数据整理出具有分析可行的报表数据方案
3.根据方案进行编码开发或者调度调整。
4.整改方案上线及后续优化
5.基于旧有业务进行统一维度建模设计及BI设计
6.开发样子及性能方案优化
在java环境中使用 spring boot 集成quartz实现定时出发任务,底层调用kettle作业或者转换,用作企业数据仓库数据调度
利用kettle,将互联网上发布的http接口json格式数据转换成关系型数据并写入到数据库中的ETL流程