因行业涉及敏感数据,故无案例图。
该项目主要用于公安机关,打造公共安全领域信息化建设、web应用层是由10多个web应用子系统组的微服务集群;数仓层是基于CDH搭建的大数据应用平台;外部源数据层是该系统依赖的其他第三方服务。其中本人主要参与数仓层建设,数仓分为数据集市与应用数据集市两大块、数据集市主要用于全局搜索、应用集市用于web系统调用;并使用kettle,编写ETL脚本,分别从不同数据源如mysql、oracle;webserice、hdfs等源数据中抽取数据,并通过规则清洗,加密等逻辑发到给kafaka;最后落盘到不同数据集市层。