项目描述:
数据监控中台主要是监控华为云各部门的数据资源平台,主要包括硬件资源、数据资源、服务资源的数据汇总和各类告警,同时负责各类业务方需要入户的数据入户需求,云服务的服务器配置,大数据资源入库,数据分析,形成各部门产出跟踪质量;
维护华为云数据仓DGC(DAYU),负责数据入湖,保障数据湖日常运维
业绩:
监控华为云给服务数据资源,包括cdm作业、fdi作业、dws作业、dli作业、obs数据桶的各类资源汇总和监控,生成可持续性资源变更记录,为各类服务资源预算扩充提供参考
负责质量中心的各类业务,项目只要业务方是SRE部门和dayu大数据处理平台,处理各类质量数据汇总,统计分析各部门每个阶段产出业务诉求和质量跟踪
数据入湖,通过flume/flink/kafka/cdm作业,将各种客户数据对接入到数据湖中