数据中台数据采集

猿急送>深圳其它兼职程序员>薯饼🍪>

案例列表

基本信息

案例ID：179846

技术顾问：薯饼🍪 - 1年经验 - 京东

联系沟通

微信扫码，建群沟通

项目名称：数据中台数据采集

所属行业：企业服务 - 数据服务

->查看更多案例

案例介绍

项目一：数据治理系统（数据中台）
开发环境：
Ranger（数据安全）+Atlas（元数据管理）+SparkSQL/Griffin（数据质量）+CKAN（数据资产）
+MetaData（数据共享+指标体系）+数据 API 化
项目描述：
基于原有的离线数仓升级到数据中台，在数据仓库的原有基础上，将数据标准进行量化，通过数据安
全管理、元数据管理、数据质量监控以及数据资产管理，实现数据治理模块。
责任描述：
1. 负责数据治理设计框架的调研、架构设计、搭建以及维护
2. 负责数据标准把控，数据检验流程规范设计和数据质量脚本落地
责任描述：
1. 使用 Ranger 过滤敏感数据，例如供应商具体信息以及供应商报价等；对用户姓名、电话、
地址等敏感信息进行脱敏。
2. 使用 Griffin 进行数据对比，并通过 SparkSQL 进行数据检验，检查数据是否满足数据规范以
及数据质量标准。
3. 使用 Atlas 作为元数据管理工具，追踪从数据库-数据仓库-可视化的血缘关系。