项目背景:
通过制定更有效的开发流程来提高兄弟部门对业务的响应度。元数据的集成和可见性可以帮助
兄弟部门了解存在哪些数据、数据存储位置及其含义,从而最大限度地降低信息的复杂性。此外,这种
可见性通过不断变更业务要求为分析变化所带来的影响提供了基础架构,并将会加快新数据集成项目的
开发。数据集成开发人员可以依赖这些信息来轻松和准确地确定他们的数据集成项目所需的数据。并
且,能够访问潜在变化所带来的影响也可以帮助管理人员快速评估项目的持续时间和资源成本。
我负责的任务描述:
1、根据数据办给出的规范和相关用户提出的需求开发相关功能。
2、对外提供公共接口。
3、开发相关的 java 任务,hive 任务,spark 任务,保证数据最终一致性。
4、Hive 表的生命周期建设。
5、Hive ranger权限改造。