大数据组件手动安装和工具安装(Ambari和 Cloudera Manager),Hadoop HDFS、YARN、HBase、Hive、Spark、Storm,Zookeeper,Kafka,Alluxio,Presto,Solr,Sqoop,Flume,Impala等主流组件及Java后台开发组件Spring,Mybaits等。开发语言使用Java Scala或Python
水厂自主生产的数采仪已经在集团近50个污水厂部署,并且会在未来1至2年内对所有项目进行部署。数采仪将采集的实时数据以秒的频率通过VPN专递到集团数据中心的前置机中,前置机将数据按污水厂维度存储在REDIS中,REDIS中会保存每个厂最新一次的实时数据。
为了对这些数据进行大数据分析及应用,需要对实时数据进行存储,同时方便分析系统和应用系统的调用以及数据存储的扩容,并且满足数据安全性和备份的要求