Hadoop生态圈的分析技术Spark,MapReduce,数据存储技术Hdfs,Hbase,数据查询Hive,Klyin,检索技术ElasticSearch,SpringBoot等
Linux操作系统
HTML、XML、CSS、JavaScipt等Web页面语言
Mysql、Postgresql、Oracle等关系型数据库
Scala编程语言
Java编程语言
Python编程语言
Bash脚本语言
Apache Tomcat、Jboss等Web容器
MLlib机器学习算法
成都政务大数据平台:
(1)完善分析子系统和算法以及Hdfs构件开发,维护算法服务接口。
(2)使用朴素贝叶斯,决策树算法对个人征信主题进行个人画像分析。
(3)对mysql、postgres关键指标参数监控及流程监控。
(4)搭建ElasticSearch集群及完成全文检索的基础API封装及使用样例。
(5)针对分析系统进行系统性能测试及性能调优。
(6)使用SparkStreaming进行流式处理,处理数据库中消费的货物流。
(7)完成分析子系统需求分析,概要设计,用户手册,详细设计等文档。
成都政务基础平台:
(1)Hadoop生态圈主要集群自动部署(Hadoop,Zookeeper,Spark,Storm...)
(2)构建分析系统流程引擎,完成分析系统基本架构,包括任务提交方式,流程解析,流程编辑,流程调度,流程执行等。
(3)针对系统环境任务变更进行任务管理,以及日志收集和展现。