整个需求基于现有的一套大数据平台产品进行升级改造,现有模块包括数据湖,虚仓管理,API HUB,整体技术架构包括on K8S, 和on yarn,需求要改造升级的部分包括
1. 统一SQL网关,统一元数据,SQL引擎包括hive, spark, flink
2. Ambari集群管理源码级架构设计,Ambari UI改造,集群管理API改造
3. 基于Keberos的统一认证平台
4. 基于RangerAdmin的统一权限服务
目前的需求是配合客户把架构方案设计出来,落地开发对我方团队进行技术指导