1. 熟练DB2 SQL的开发,了解SQL的执行计划分析,具备基础的SQL调优能力
2. 熟练使用ETL工具Informatica、Datastage,具备良好的ETL设计和开发思维
3. 熟悉Linux常用命令,熟悉使用vim文本编辑器,能编写基础的自动化shell脚本
4. 具有数据仓库底层运维的经验,对数据较为敏感,并了解Bo和smartBi简单的运维工作
5. 掌握python语言,python数据处理和数据分析
项目一:人寿数据仓库系统数据运维项目 2019/02- 至今 泰康人寿
项目描述:人寿数据仓库系统整合了各业务系统数据,支持总分公司销售支持、管理支持、业务追踪,并支持各系统应用数据获取,作为人寿核心数据平台系统,保障了人寿决策支持、业务追踪、运营优化、准备金、监管稽核等数据支持工作。
项目职责:
1. 基于数据仓库的分层模型和各业务系统的整合架构,负责T+1核心批处理任务报错运维;
2. 参与核心DWD层和ADS层数据模型维护,主要涉及保单明细表、代理人明细表、保单交易流水表以及报表应用层的宽表和窄表的运维,包括数据异常的探查和维护,数据逻辑更新校准,历史数据修正;
3. ETL任务和SQL脚本任务开发,对接新的数据需求,建设和维护数据仓库模型;
4. 向业务人员解释数仓数据口径问题,指导数据分析伙伴规范使用数据仓库。
项目绩效:可独立完成核心数仓的运维工作,核心批处理任务报错的数据修复补数工作,保证仓库明细层和应用层数据及时和准确地为业务和应用服务。
采用维度建模思想,将业务流程数据转换成事实表,将相对稳定的业务对象和公共代码数据转换成维度表,共同描述业务系统信息。这种设计思想使模型整体结构相对稳定,客户化时仅仅是扩展字段,简化了实施工作
数仓分层主要按三层来分,一是ODS贴源层,二是明细层,主要是维度模型的整合,包含事实表和维表,三是集市层,主要有客户集市,经营分析集市,电销集市,合规集市,决策支持集市等。
数仓分层主要按三层来分,一是ODS贴源层,二是明细层,主要是维度模型的整合,包含事实表和维表,三是集市层,主要有客户集市,经营分析集市,电销集市,合规集市,决策支持集市等。