开发工具:IDEA + SVN+ Maven
开发技术:hadoop+hbase+kafka+flume+redis+spark+Python+Shell+Java+Scala+……
该款产品属于安防行业交付件,数据量较大,性能规格要求高,所以使用的多款组件,数据接入方面,利用Thrift的RPC远程跨语言的优势搭载kafka缓存功能,实现数据大规模入库,数据消费方面,利用flume高可用,高可靠的分布式的海量日志采集、聚合和传输的系统,实现数据的消费,数据落盘方面,以hadoop和hdfs文件为基准,使用分布式面向列的HBASE作为数据库+ElasticSearch分词检索系统便于数据的秒级检索,使用spark的parquet文件+ElasticSearch对海量数据进行分析,将分析结果存入postgreSQL,为了便于第三方调取使用,使用Jetty+Nginx反向代理的方式实现负载均衡,为了便于资源统一调度和管理,使用restful风格的设计模式方式,以便第三方的调取使用,该产品使用shell脚本和Python实现了产品的升级和维护 该系统包含如下模块:基本组件模块/研判业务/布控业务/流量统计业务/视图库业务/积分业务/HA等