1.精通各种关系型数据库脚本开发,熟练掌握hive大数据离线开发、数据中台
2.熟悉cognos、帆软等BI工具
3.熟悉kettle、shell等etl数据采集方式,熟练数据全生命周期
4.熟练操作Linux系统、可以使用shell脚本完成常规开发任务
5.掌握分类、回归等监督学习算法,可以独立完成数据标签体系开发
6.项目管理技能PMP
1.Adidas Fo项目自动化报表项目
将Adidas 全国线下300多家FO门店的销售情况以及经营活动情况做成自动化报表,围绕核心指标销售、成本、库存指标,衍生销售率、售罄率、周期售罄率、在途库存、库存支持天数等指标,针对不同汇总层级做累计销售情况分析,最终形成12份独立统计分析的图文报表,共计超过80张展示界面;本项目中主要负责前期的业务需求沟通、数据质量探查核对,担任数据模型的规划设计工作,后期数据核对和调度设计。项目涉及数据源头数据采集、数据入库、数据建模、BI建模、数据调度等数据开发流程,主要使用工具为shell、exosal内存数据库、MSTR BI建模工具。
2.政府人口库项目建设
本项目旨在全面归集市人口数据,对各部门的归集数据进行综合治理,站在整个市的角度优化分析人口属性数据,建设富有特色的人口专题库和丰富的人口画像标签;主要参与该项目前期数据调研工作,了解泰州市人口数据表现状;规划整理数据治理标准规范,设计数据质量监控程序,负责与各单位协调数据归集事项,监控项目整体进度,定期参与项目演示汇报,参与项整个目治理开发阶段与后期的数据核对优化工作。本项目主要采用数据中台为数据底座,在中台中完成数据采集、标准化、建模、标签构建、共享,配合H5界面打造门户展示。
在数据中台中进行数据采集加工,可以完成多源数据的采集,根据业务要求,对数据进行深度加工,以目标方式对数据进行输出
使用shell脚本对完成数据文件的采集入库,在数据库中对原始数据进行清洗加工,完成数据建模,按照最终展示要求对给数据拆分处理,进行分类展示,使用shell+crontab完成数据调度。