数据资产&血缘管理平台

电子商务-B2C

1、参与了项目技术选型,从 0 到 1 的搭建,设计统一的资产采集报文等等。 2、对接相关部门做血缘资产采集,对接采集文档,按指定格式往我们部门的 kafka topic 上推 送消息,我们使用 flink 实时消费,做数据清洗,校验入库,存 es 等工作。我主要负责采集系 统,库,表,字段,任务等资产和血缘相关数据。 3、开发相关资产和血缘查询接口。 4、根据数据办提出的数据导出需求,开发相关 hive 任务,开发数据清洗,数据导出等等 spark 任务。 5、参与开发了资产交接功能。...

数据资产&血缘管理平台
数据资产&血缘管理平台

元数据管理平台

电子商务-B2C

项目背景: 通过制定更有效的开发流程来提高兄弟部门对业务的响应度。元数据的集成和可见性可以帮助 兄弟部门了解存在哪些数据、数据存储位置及其含义,从而最大限度地降低信息的复杂性。此外,这种 可见性通过不断变更业务要求为分析变化所带来的影响提供了基础架构,并将会加快新数据集成项目的 开发。数据集成开发人员可以依赖这些信息来轻松和准确地确定他们的数据集成项目所需的数据。并 且,能够访问潜在变化所带来的影响也可以帮助管理人员快速评估项目的持续时间和资源成本。 我负责的任务描述: 1、根据数据办给出的规范和相关用户提出的需求开发相关功能。 2、对外提供公共接口。 3、开发相关的 jav...

元数据管理平台
元数据管理平台
------ 加载完毕 ------
联系需求方端客服