1、业务规划,技术规划,技术选型及核心功能搭建。
2、研发人员管理,中台核心能力构建。
3、 业务架构,技术架构,核心代码输出
4、 基于 debezium/KafkaConnect/starrocks/Datax/flink cdc/magic api 搭建流批一体数据中台
业绩:
1、数据资产管理,数据集成管理,数据服务,数据开发能力,数据安全管理,数据三级架构。
2、核心技术 debezium/KafkaConnect/clickhouse/starrocks/Datax/flink cdc/magic api 调研搭建,并应用,替代老一代的Hadoop 体系。
3、江苏省综合考核中台落地实施,地市海量数据上报,转换,清洗及标准检测。亮点:42张亿表的数据检测功能在之前hadoop/hive 平台隔天跑不出,现在实现一般资源下30分钟能全量跑完。每天上亿数据汇聚服务稳定运行。湖南、贵州、浙江使用新平台使用新的架构分析,很多隔天指标从T+1模式改成T+0,基本能在5秒内得到结果。