1、 熟悉数据交换共享、数据开放、大数据平台、数据治理、数据可视化等数据类项目经验,熟悉数据交换共享标准、数据开放平台标准、架构、解决方案。
2、 熟悉mpp、hadoop、 hive、Impala、spark、hbase、kylin、tidb等大数据技术架构及相关解决方案。
3、 熟练掌握DW、BI、ETL项目实施方法、开发设计、数据建模;
4、 熟悉Oracle、Mysql、Sqlerver、Mongod、达梦、PG等数据库。
5、 熟练tableau、永洪BI、pentaho等BI开发平台、熟练kettle等ETL工具、具有Nginx、Keppalived、Tomcat、Zookeeper、haproxy等有项目应用部署经验。
6、 熟练Linux操作系统,有一定的shell脚本编写能力,熟悉java,js,python、C等语言。
项目一:深圳市经信委数字经贸平台
项目时间:2018.1 – 2018.11 岗位:BI工程师
项目描述: 构建“以基础数据为依托、以重点行业和企业为支持、服务领导决策和促进产业发展为使命”的经济运行调控监测分析体系,增强运行调控的及时性、准确性和有效性。一是实现数据集成和共享。家里基础数据分类采集、集成共享、建立内部集成数据库,同时推动我委处室间、政府各个处室部门、各区数据共建共享。二是依托基础数据提高经济运行分析运行监测分析质量和水平,加强基础数据应用、重视和突出对重点行业、重要企业和重点产品的分析、深度挖掘背后的内在数据逻辑和变化原因,及时发现苗头性、倾向性问题倾向预警分析、同事建立完成的分析报告体系。
责任描述:
1、 数据仓库及BI项目建设的需求调研、需求分析、业务沟通、数据分析,提供项目调研需求评估报告。
2、 数据仓库及BI项目与业务系统的数据交换接口设计。
3、 数据仓库架构、建模、ETL流程及mapping逻辑等设计开发。
4、 负责数据治理平台的数据质量、元数据、数据标准管理,数据血缘分析,数据关联分析,数据影响分析等。
5、 负责数据应用分析模块及展现设计的指标和维度的分析和提取。
6、 项目需求规格说明书、概要设计、详细设计等项目文档整理。
角色 | 职位 |
负责人 | 大数据开发工程师 |
队员 | 产品经理 |
队员 | UI设计师 |
队员 | iOS工程师 |
队员 | 安卓工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |