猿急送>

北京C#兼职程序员

ID：342930

茅台

高级大数据工程师

公司信息：
联想

工作经验：
1年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
北京
海淀

技术能力

12年研发经验，6年大数据开发经验，精通C#、熟练掌握Python、scala开发语言，精通SQL Serv
er、MySql，HQL等SQL及NOSQL开发，同时熟练掌握大数据及云相关技术并应用到实际项目中
如：Hadoop、HIVE、Sqoop、Presto、StarRocks、Clickhouse、Azure Databricks、Azure D
ata Factory 等。具有较强的沟通能力与解决问题的能力，自学能力强，经验丰富。具有团队管理
相关经验，带领3-5人实施联想中国区物流大数据分析平台。

项目经验

工作内容及项目背景：外派微软项目组，参与并实施诺和诺德（中国）的大数据分析应用平台建设
。该项目的目标是通过设计、实施和维护一个集成的数据和分析平台解决方案，对诺和诺德现有
AE、DW、HDP、PDP 的数据及数据应用进行迁移、处理和整合，搭建诺和诺德中国统一的数据与
分析平台 DAP 。
项目架构：DAP 平台的数据架构、数据存储处理将基于湖仓一体的数据平台架构，即数据平台需
同时具备数据湖和数据仓库的能力。数据接入 DAP后，将分为 Landing 落地区、RAW 原始数据
历史区、Stage 质量检查与标准化处理区、Delta 数据变化处理与存储区、Data Vault 公司统一
模型明细数据存储区 DWD、DWB 分析基础数据区以及 DWS 面向分析服务的数据集存储区。加工
处理后的数据也将通过数据服务的方式提供给下游应用或用户、支持数据库、文件及 API 等形
式。
项目应用到的技术及工具：Azure Data Lake、Azure Databricks、Azure Data Factory、Azure
SQL Database、Databricks Sql、Python、Spark、Scala
本人负责的工作内容：
1. 根据上游（delta、dwd）Mapping 文档及用户需求（URS ）独立开发并实施 MAPA、CLD、
Finance、Medicalvisit、Multidomain、Downstream 等业务域的 DWB、DWS 层事实表及视
图，主要通过 Databricks SQL、python及 scala 代码完成上述工作。
2. 整理上述开发所需要用到的数据源 SQL 脚本给到数据架构，用来生成 stage、delta、dwd 等
每一层的建模脚本及 mapping 文档。
3. 整理每一层要跑的数据源 mapping 文档给到负责 ETL 的同学进行相应的配置。
4. 将部分开发好的 DWS 层数据生成 view 视图，推送给下游，推送方式采用 adf etl 工具，编写
每一个视图的 pipeline ，推送到下游的数据库，或者是生成 CSV 文件推送到共享文件目录。
业绩:
通过一年多的实施与开发，期间经历了大量的 SIT、UAT 测试，并取得了用户的一直认可，最终成
功并上线了诺和诺德（中国）的大数据分析应用平台。

案例展示

诺和诺德大数据分析平台

诺和诺德（中国）的大数据分析应用平台建设。该项目的目标是通过设计、实施和维护一个集成的数据和分析平台解决方案，对诺和诺德现有 AE、DW、HDP、PDP 的数据及数据应用进行迁移、处理和整合，搭建诺和诺德中国统一的数据与分析平台 DAP 。项目架构：DAP 平台的数
诺和诺德大数据分析平台

诺和诺德（中国）的大数据分析应用平台建设。该项目的目标是通过设计、实施和维护一个集成的数据和分析平台解决方案，对诺和诺德现有 AE、DW、HDP、PDP 的数据及数据应用进行迁移、处理和整合，搭建诺和诺德中国统一的数据与分析平台 DAP 。项目架构：DAP 平台的数
联想报表数据平台

1、从0-1独立搭建并部署 Hadoop 分布式大数据分析平台，版本2.8.4，将历史库存数据、出入库数据、及相关的维度表 BU 、业务类型、省份城市等业务数据，通过 Sqoop或 DataX ETL 工具从不同的业务系统同步到 Hive 数据仓库, 通过与业务沟通并对数