1.掌握oracle存储过程的编写以及简单的性能调优
2.熟练使用hive sql进行数据处理、查询、统计
3.掌握Linux常用命令,能熟练使用VI编辑器编写shell脚本
4.熟悉Python基本语法
5.用shell写了一个小工具,实现hive和oracle双向的数据装载功能
项目一: oracle数据库迁移至大数据平台
开发工具:hadoop + hive(squirrel sql client)+ oracle(pl/sql developer)+ xshell + svn
项目描述:为了满足日益增长的数据存储和数据运算需求,搭建hadoop大数据平台,将已有oracle平台的数据加工逻辑迁移至hadoop大数据平台,为后续在大数据平台上开发提供数据支持。
职责描述:1、参与前期项目分析
2、分析迁移作业的数据源以及前后依赖关系
3、将oracle代码(存储过程及自定义函数)翻译成hive脚本
4、对迁移后的逻辑和数据进行验证
项目二: 宽表开发
开发工具: hive(squirrel sql client)
项目描述: 该项目主要针对中行对私客户,做客户画像,提供客户特征标签,为后续相关需求提供便捷、有效的数据支持。
职责描述:1、数据源分析,客户特征分析,对工作量进行评估
2、标签表表结构设计,编写相关hql脚本,实现标签表逻辑
3、验证数据准确性
项目三: 数据装载平台(ETL)维护及调度配置
开发工具:oracle(pl/sql developer)+ xshell
项目描述:对中行数据装载平台的维护、新增调度的配置。
职责描述:1、每日巡检,监控调度运行情况
2、解决装载过程中的报错问题,如数据错位、字段超长等
3、调度配置,编写调度SQL,观察新配调度的运行情况