运营商位置数据仓库项目
项目描述:
通过与国家互联网应急中心合作,对三大运营商数据进行合并,提取其位置信息进行汇总,形成全量位置数据仓库。
前期先在各省分集群通过SparkStreaming+kafka的方式汇总三网的所有信令、详单等涉及位置的数据,统一各字段的名称和单位;然后通过位置纠偏算法对数据进行过滤,汇总到中心kafka集群的指定topic上;最后落地到hive和hbase进行持久化存储。
目前以位置知识库为基础进行合作的单位有:北京公安局、贵州应急厅、中国银行北京分行、通州区政府、招商局中外运等。
我的职责:
设计数据仓库总体架构;
位置纠偏算法实现;
评估知识库能力,设计使用场景。