诺和诺德(中国)的大数据分析应用平台建设
。该项目的目标是通过设计、实施和维护一个集成的数据和分析平台解决方案,对诺和诺德现有
AE、DW、HDP、PDP 的数据及数据应用进行迁移、处理和整合,搭建诺和诺德中国统一的数据与
分析平台 DAP 。
项目架构:DAP 平台的数据架构、数据存储处理将基于湖仓一体的数据平台架构,即数据平台需
同时具备数据湖和数据仓库的能力。数据接入 DAP后,将分为 Landing 落地区、RAW 原始数据
历史区、Stage 质量检查与标准化处理区、Delta 数据变化处理与存储区、Data Vault 公司统一
模型明细数据存储区 DWD、DWB 分析基础数据区以及 DWS 面向分析服务的数据集存储区。加工
处理后的数据也将通过数据服务的方式提供给下游应用或用户、支持数据库、文件及 API 等形
式。
项目应用到的技术及工具:Azure Data Lake、Azure Databricks、Azure Data Factory、Azure
SQL Database、Databricks Sql、Python、Spark、Scala