软件环境:Unix
硬件环境:专用x86 Server
开发语言:Java
项目描述:
系统核心内容为SR NAT日志采集,WLAN Radius(集团&本地)日志采集,互联网访问数据采集,归并关联分析。数据采集范围为直辖市或省级数据,项目多年来历经扩容,以北京市为例,2017年状态为32条万兆链路流量需要采集,需求范围也从项目最初的仅采集HTTP网页方位数据发展到最终的全流量、全协议流量采集并兼顾部分特殊应用类型的分析(例如采集QQ号)。系统还包括了根据移动要求逐年追加的多种数据上报、端到端数据传输等项目的实现。
项目的采集部分采用Pf-ring技术,系统的数据格式化、传输、存储采用Java开发,数据存储以结构化数据作为索引,详细内容使用非结构化数据。
系统应用于北京移动、广西移动。并经过多次升级和扩容。
责任描述:项目技术负责人和核心算法开发人员,负责项目的整体把握、协调。