Hadoop生态圈的分析技术Spark,MapReduce,数据存储技术Hdfs,Hbase,数据查询Hive,Klyin,检索技术ElasticSearch,SpringBoot等
Linux操作系统
HTML、XML、CSS、JavaScipt等Web页面语言
Mysql、Postgresql、Oracle等关系型数据库
Scala编程语言
Java编程语言
Python编程语言
Bash脚本语言
Apache Tomcat、Jboss等Web容器
MLlib机器学习算法
成都政务大数据平台:
(1)完善分析子系统和算法以及Hdfs构件开发,维护算法服务接口。
(2)使用朴素贝叶斯,决策树算法对个人征信主题进行个人画像分析。
(3)对mysql、postgres关键指标参数监控及流程监控。
(4)搭建ElasticSearch集群及完成全文检索的基础API封装及使用样例。
(5)针对分析系统进行系统性能测试及性能调优。
(6)使用SparkStreaming进行流式处理,处理数据库中消费的货物流。
(7)完成分析子系统需求分析,概要设计,用户手册,详细设计等文档。
成都政务基础平台:
(1)Hadoop生态圈主要集群自动部署(Hadoop,Zookeeper,Spark,Storm...)
(2)构建分析系统流程引擎,完成分析系统基本架构,包括任务提交方式,流程解析,流程编辑,流程调度,流程执行等。
(3)针对系统环境任务变更进行任务管理,以及日志收集和展现。
对政务大数据信息资源进行梳理,形成统一分类结构,制定统一的政务大数据资源目录结构、数据存储结构、数据存储关系等内容,建立由政务信息资源服务、服务元数据、政务大数据资源目录、标准规范、分布式数据存储库等要素构成的政务大数据服务体系,为大数据分析提供海量分布式的数据资源存储库。成都市
绕过滑块安全认证,用python代码编写后台功能,使用某运营商接口进行下单->付费->查单等操作。使用python 代码模拟手机端充值功能