熟练掌握JavaSE,深刻理解面向对象设计思想,熟练使用IO流操作和集合框架,网络编程等JavaSE主流技术。
能使用反射、注解、动态代理等Java高级技术,对代码的封装抽取及其性能优化有点一定的经验
熟悉springmvc Spring,Hibernate,Servlet,Jsp等WEB编程技术
能熟练使用MySql,Oracl主流数据库技术
熟悉redis内存数据库,能搭建redis高可用集群及其编程
了解linux系统,熟悉常用的linux的shell命令,能在linux系统下搭建开发环境
理解hadoop的分布式文件系统,掌握mapreduce原理,实现编码
熟练掌握scala编程,能运用scala进行spark RDD,spark streaming编程
熟悉kafka日志收集,分发框架的使用,spark进行整合进行数据的实时处理
项目名称:数据模型挖掘开发
开发环境: IDEA+oracle+Tomcat+JDK1.8+maven+svn
系统架构: springmvc+mybatis+shiro+oracle+hadoop+hive+spark+layui
项目描述:搭建配置Hadoop集群、Spark、Hive等环境。此系统分为数据配置模块与模型建立模块;数据配置模块需配置不同数据源,形成不同数据对象。模型系统依据数据对象抽取数据到HIVE中;创建模型,通过SPARK等执行战法,得出最终结果,并展示。
责任描述: 1、参与前期的需求分析并撰写需求文档及概要设计;
2、完成后端部分代码开发及部分前端开发及接口接入;
3、配合测试人员完成相应的测试工作。