项目名称:数据中台前沿化建设
项目架构:flink、spark、kafka、clickhouse、trino、hudi、hive、datahub。
项目描述:针对于传统数仓的高延迟、数据杂乱、数据丢失或重复、数据错误等一系列痛点重新建设数据中台,利用 新架构从而完成数据实时入仓,配置化清洗逻辑,添加元数据管理、数据血缘等特性,优化上层建模,提 高数据使用效率。并能独立出产品接入任何数据源,如有需要可以提供给外界任何公司做第三方数仓工具。 数据最前沿的数据产品,对标数数等数据公司,优于神策。
责任描述:1.负责项目的从0到1的开发;
2.参与项目架构的选型。