围栏设备、非经设备等一些设备采集数据上传到系统,由CMI-COMM程序和UC接口程序转换成json格式数据,Data2X组件读取日志进行数据清洗转换写入kafka集群。SparkingStreaming程序读取kafka日志,抽取信息,将身份关系和身份信息写入到hbase,将Mac信息协议信息写入到redis集群,同时抽取所有可用数据到impala中。
DataETL组件提供数据接口,ga-mass-es组件读取数据接口将数据写入源数据elasticsearch和orientDB中。
Ga-mass-nimcapture组件读取kafka集群中日志,抽取告警数据写入MySQL中和elasticsearch一个索引中。
Ga-mass-timer组件定时分析任务(后转到xxl-job开源项目中)。
Ga-mass-web组件,数据展示。