能使用Hadoop、Hbase、Hive ,spark等进行大数据存储、处理和分析;
有Jave EE开发经验,熟悉Spring MVC 注解开发,iBATIS, Hibernate,Struts 2等后台技术,前端能使用Ajax,JSP,JavaScript,jQuery,CSS和html5等技术。
国家电网物资运输监控平台
软件环境:CentOS 64位
硬件环境:8G内存+500G硬盘+百兆网卡+百兆局域网
集群规模:6台服务器
开发工具:Eclipse+ MySql + Tomcat
责任描述:1、负责数据后台的开发、维护,支撑数据平台的业务需求工作;
2、根据需求完成相关数据处理模块的开发;
3、负责对产品、市场团队技术支持;
4、负责基于Hadoop的并行计算平台的开发与优化工作;
5、与部门进行跨地域跨文化的沟通和合作,共同开发维护数据产品。
项目描述:基于国家电网物资运输监控系统一期,采用大数据处理技术,对车辆行驶的经纬度坐标信息进行分析处理以及运输任务数据挖掘。主要业务有路段情况预判,工况数据分析,计划路线推荐等。主要技术采用Hadoop框架中的MapReduce计算处理数据,HDFS存储,Hive数据仓库,数据库持久层使用Hbase和MySQL ,Web后台采用Jave EE, 前端使用Ajax,JSP,JavaScript,jQuery,CSS和html5等技术。