本人熟练使用oracle、influxdb、gbase等数据库,精通SQL语言,能够熟练地使用kettle、tableau等完成数据的采集、清洗、以及数据报表的开发。
熟悉元数据管理、数据质量管理等。
熟练掌握linux系统以及linux系统下软件的部署,如:oracle、influxdb、grafana、confluence等。
熟练使用shell脚本,熟悉python。
熟练使用confluence、grafana、powerdesigner等软件以及使用svn进行项目版本管理。
上海市供水调度监测中心供水安全保障监管系统建设
1.水务行业的数据采集、清洗、数据应用以及tableau数据报表的开发
2.linux系统下oracle测试数据库搭建,influxdb时序数据库搭建与使用,grafana监测系统的搭建与使用以及行业知识库confluence的搭建等
3.kettle数据采集与清洗,普元软件环境搭建以及使用
4.ETL存储过程调度方案设计与实现
5.python实现爬取邮箱附件,爬取水量预测数据,处理数据格式以及使用kettle入库
6.数据库异地自动备份脚本编写实现
7.数据库日常监控与维护
8.配合客户、为客户提供需要的数据
9.相关技术文档的编写以及和其他部门合作的对接