工作背景: 5年+企业数据项目实施经验,5年大数据平台开发部署经验,擅长企业级数据仓库、中台设计与创建部署,具丰富数据集群运维及优化经验,熟悉金融系统云数据库,了解医疗器械、医药、新能源财务等行业。
技术深耕:深入理解数据仓库原理,熟悉Hive、Hdoop等生态集群架构,了解MySQL、Oracle、Redis、Elasticsearch、Cassandra等主流、非主流数据库,擅长应用Python、Shell、Java进行系统、脚本开发。
问题处理:善于拆解复杂问题,细分具体任务、路径,提供清晰解决问题方案,具复杂任务综合处理能力。
隆基绿能财务中台搭建项目
项目描述:为新能源企业搭建财务数据中台,包括财务数据中台、财务数据分析及前端页面3部分。
项目职责:与客户沟通,完成数据中台技术架构设计,包括数据架构蓝图、数据流处理、建模等,搭建等任务,完成ETL流程开发(Sqoop + Spark + Hive + Oracle GoldenGate + Azkaban)及优化设置。
华为大数据平台部署优化项目
项目描述:搭建大数据集群,规模300+节点,定位并解决 Impala 数据库运行速度突降问题。
项目职责:完成大数据集群安装、运维与优化、大数据集群场景分析与性能比对测试、大数据技术测试,包括 kudo、alluxio、Flink等。
赛诺菲医药Informatica数据治理平台项目
项目描述:从0到1搭建数据治理平台,包括数据质量管理、元数据管理、数据血缘关系管理等。
项目职责:与客户沟通,独立完成平台、工具搭建,包括Informatica数据治理平台设计与搭建、Informatica EDC 安装与元数据扫描、数据血缘扫描与分析、Informatica IDQ Data Profile 设计、Data Quality rule 设计、Informatica Axon System、Glossary、Dataset等 Object 设计与创建、Axon 权限管理设计、EDC & IDQ & Axon 共同作业机制设计、Informatica数据治理平台可用性测试。
本人领导实施过多个国内外顶级大企业的大数据平台搭建部署,领导搭建informatica ETL及数据治理平台 本人拥有CCA证书,拥有深厚的大数据平台搭建部署经验
领导搭建informatica数据治理平台 包含power center,最早出现的ETL工具,在西方世界持续霸占ETL工具头哥位置。 包含DataQuality,实时数据治理监控工具 包含EDC,数据管理工具,包括收集与管理元数据等功能 包含AXON,数据治理工具
领导企业数据中台规划与搭建 系统采用最新的IT技术以及“厚平台、薄应用”的设计理念,搭建共享服务层,实现统一架构、统一标准、统一流程、数据共享;随着应用的增多,更多的服务沉淀,不断完善平台功能。基于前中后三层架构,以轻薄的前台适应前台交互的快速变化,解耦内聚但共享服务中台满足核