诺和诺德(中国)的大数据分析应用平台建设 。该项目的目标是通过设计、实施和维护一个集成的数据和分析平台解决方案,对诺和诺德现有 AE、DW、HDP、PDP 的数据及数据应用进行迁移、处理和整合,搭建诺和诺德中国统一的数据与 分析平台 DAP 。 项目架构:DAP 平台的数据架构、数据存储处理将基于湖仓一体的数据平台架构,即数据平台需 同时具备数据湖和数据仓库的能力。数据接入 DAP后,将分为 Landing 落地区、RAW 原始数据 历史区、Stage 质量检查与标准化处理区、Delta 数据变化处理与存储区、Data Vault 公司统一 模型明细数据存储区 DWD、DWB 分...
诺和诺德(中国)的大数据分析应用平台建设 。该项目的目标是通过设计、实施和维护一个集成的数据和分析平台解决方案,对诺和诺德现有 AE、DW、HDP、PDP 的数据及数据应用进行迁移、处理和整合,搭建诺和诺德中国统一的数据与 分析平台 DAP 。 项目架构:DAP 平台的数据架构、数据存储处理将基于湖仓一体的数据平台架构,即数据平台需 同时具备数据湖和数据仓库的能力。数据接入 DAP后,将分为 Landing 落地区、RAW 原始数据 历史区、Stage 质量检查与标准化处理区、Delta 数据变化处理与存储区、Data Vault 公司统一 模型明细数据存储区 DWD、DWB 分...
1、从0-1独立搭建并部署 Hadoop 分布式大数据分析平台,版本2.8.4,将历史库存数据、出入库 数据、及相关的维度表 BU 、业务类型、省份城市等业务数据,通过 Sqoop或 DataX ETL 工具从 不同的业务系统同步到 Hive 数据仓库, 通过与业务沟通并对数据进行分不同主题的数据建模,进 行清洗分层(ODS-DWD-DWS-ADS),从而满足不同业务场景的查询分析需求。前端通过 Tableau 客户端连接 Presto 计算引擎,制作可视化 BI 分析报表,数据分析人员也可以通过客户 端链接,直接使用 SQL 语句进行查询分析。业务主题场景包括:1.SMB 历史8周...