有关键独立模块设计、开发和维护经验;
1.熟悉大数据hadoop环境掌握必要的开源组件例如:hbase,kafka,flume,yarn,ElasticSearch,spark,hive,zookeeper等熟悉基本的脚本语言Python,shell,可进行自动化测试脚本编写,熟悉CDH云,华为云
熟练应用Struts2+Spring+Hibernate和SpringMVC+Spring+Mybatis及其他主
流JavaEE开发框架
熟悉XML和JSON解析,数据存储方式
熟练应用Eclipse,MyEclipse,SVN,Maven,WebStorm,IDEA等开发工具
熟练应用JSP/Servlet/JDBC/JavaBean等用MVC模式开发项目
熟练Java编程 ,熟悉常见设计模式,熟悉软件设计开发流程
熟悉EasyUI,Bootstrap, AngularJS等前段框架
能够运用PowerDesigner等建模工具进行需求分析和模型设计
熟练使用MySQL、Oracle等数据库的常用操作
扎实JAVA基础知识,熟悉面向对象编程思想,具有良好的编码习惯
熟悉Nginx,Solr,Redis等服务器的安装、能够搭建开发环境
熟悉Linux操作系统,能够搭建开发环境。
DBE产品的开发与维护
该款产品属于安防行业交付件,数据量较大,性能规格要求高,所以使用的多款组件,数据接入方面,利用Thrift的RPC远程跨语言的优势搭载kafka缓存功能,实现数据大规模入库,数据消费方面,利用flume高可用,高可靠的分布式的海量日志采集、聚合和传输的系统,实现数据的消费,数据落盘方面,以hadoop和hdfs文件为基准,使用分布式面向列的HBASE作为数据库+ElasticSearch分词检索系统便于数据的秒级检索,使用spark的parquet文件+ElasticSearch对海量数据进行分析,将分析结果存入postgreSQL,为了便于第三方调取使用,使用Jetty+Nginx反向代理的方式实现负载均衡,为了便于资源统一调度和管理,使用restful风格的设计模式方式,以便第三方的调取使用,该产品使用shell脚本和Python实现了产品的升级和维护 该系统包含如下模块:基本组件模块/研判业务/布控业务/流量统计业务/视图库业务/积分业务/HA等
角色 | 职位 |
负责人 | 大数据开发工程师 |
队员 | 产品经理 |
队员 | 前端工程师 |
队员 | 后端工程师 |
开发工具:IDEA + SVN+ Maven 开发技术:hadoop+hbase+kafka+flume+redis+spark+Python+Shell+Java+Scala+…… 该款产品属于安防行业交付件,数据量较大,性能规格要求高,所以使用的多款组件,数据接入方面,利
基于janusgraph开发的图数据库产品,数据导入,过滤,清洗,转换,分析关联人,共同关联人,最短路径等,前台使用zoomchart效果展示。