1. 熟练掌握Java语言,具有良好的编程规范与扎实的编程基础;
2. 熟练掌握Linux常用命令,掌握shell编程,能够熟练在Linux环境下进行开发,搭建服务器集群,项目部署;
3. 熟练运用、开发mr、spark程序,熟练应用scala开发spark程序,作etl数据清洗,数据加工分析。熟练运用大数据相关组件,flume、kafka、azkaban、sqoop等组件;
4. 熟练应用MySQL等关系型数据库进行开发并掌握数据库查询、事物、存储过程、索引等数据库技术,熟练应用hbase、hive等数据仓库进行数据存储、分析;
5. 熟练掌握Springboot、SpringMVC、Spring、Mybatis、Hibernate等开源框架技术,能熟练使用SSH、SSM等平台,能快速处理项目中遇到的问题;
6. 掌握HTML5、JS、CSS、easyui、Ajax、JQuery、Bootstrap等前端技术;
7. 熟练使用Maven项目管理工具和GIT、SVN等版本控制工具,能熟练解决多人协作开发所遇到的问题;
项目 一: 人行日志监控系统
运行环境: suse11、dwhcp大数据平台
技术方案: flume、kafka、spark、hadoop、mysql
项目描述: 日志监控系统,是实时监控中国人民银行各个系统运行情况的系统。将人行的DIS系统、基线系统、反洗钱系统、多维查询、地方债、大集中等各个系统运行时产生的日志进行收集、处理,监控日志中出现的异常、警告等信息,方便及时发现系统异常,及时处理。
项目 二: 新疆银行金融大数据平台
运行环境: CDH平台、Centos7操作系统、
技术方案: Hadoop、spark、hive、HBASE、flume、azkaban、logstash
项目描述: 新疆银行,是新疆唯一的省级地方法人金融机构。新疆银行在建立以后,由于其地理位置原因,银行业务发展缓慢。随着网银、ATM、柜面的完善,业务飞速发展,产生的业务数据、日志数据等越来越多。为挖掘数据中价值,提到银行竞争,加强风控,建立新疆银行大数据平台。