熟练掌握Oracle,SqlServer数据库,熟练使用SQL语句,优化SQL语句;
熟练书写存储过程、函数、游标、分区表、拉链表、临时表;
熟练应用Linux操作系统,运用shell脚本编程;
熟练搭建服务器,服务文件配置,文件安装;
熟练文件备份,网络配置,解除防火墙等;
熟练使用ETL中kettle工具进行数据抽取、转换、装载,任务调度;
熟悉office办公软件,帆软报表制作工具,MySQL数据库等;
熟悉Python编程,Java编程,会书写基本的面向对象脚本;
熟悉hadoop技术,了解hadoop生态圈、hadoop三大组件(hdfs,MapReduce,yarn)
项目名称:兴业银行数据仓库搭建
开发工具:Oracle 11g 数据库、kettle 工具、PD 建模工具、Power BI 报表工具。
运行工具:Linux 系统。
责任描述:
1. 梳理业务关系,整理 mapping 映射,将目标表与原表在 Excel 表格中做对应关系;
2.数据字段的清洗(去除空值、重复值、脏数据)、脱敏等,制作多维度的宽表,把 dwd 层数据传给下游人员;
3.根据组员提供的 dwt 层数据,对写好的存储过程依据 SQL 优化手册进行优化处理,提高查询效率,并写入日志;
4.使用 kettle 调度设置定点执行更新数据,监控后台任务的运行情况及查看运行日志并进行维护;
5.把 dwt 层数据投放到数据集市,为决策者可视化分析提供数据支持,或供其他部门报表人员使用。
项目名称:长安马自达汽车有限公司DMS系统开发与维护
责任描述:
1.给经销商搭建服务器,提供系统权限服务;
2.解决经销商提出的系统问题,进行解答;
3.定期维护服务器情况,定期备份数据;
4.对出现系统bug进行开发维护;
5.根据长马要求增加新的业务板块,实现业务互通