1. 大数据,两年左右的大数据开发经验。熟悉cdh平台,多次根据cdh官方文档为公司客户安装cdh。开发中涉及到的大数据技术包括,hdfs,spark,hive,impala,hbase,oozie,zookeeper,kafka。通过oozie调度spark job,spark处理完后将数据写入hbase,或者写入hive,刷新impala;还有通过SparkStreaming 从kafka读数据,处理完后将数据写入hbase。
2. java,8年以上的java经验,熟练掌握J2EE框架,多年从事J2EE后台service开发,熟悉主流的J2EE框架,如Spring,SpringMVC, SpringBoot,MyBatis,多年前也是用过Struts。熟练掌握Java多线程开发,nio,熟悉Java虚拟机的内存模型。
3. 数据库,熟练使用Oracle,MySql
4. Scala,使用Scala开发大数据项目
5. web技术,JavaScript,JSP等。可以从事web技术的简单开发,多年未做前端开发
6. Linux,熟悉Linux的操作
项目1
中国移动的大数据项目,通过分析数据给出统计结果,数据来源包括日志流和日志文件。
数据量最大可达到每天1.8T
主要使用的技术包括,Java,Scala,spark,hdfs,impala,hive,oozie。
主要负责部分
1. 通过java nio 接收数据流,将数据写入文件,并且将数据转发到另一个server,采用多线程技术,连接数最多可以达到1000个,由于数据流接受程序部署在大数据平台中,为了保证平台资源,流处理程序要尽量减少线程数,节约资源。
2. spark代码,通过spark sql 和rdd分析处理数据。
项目2
某电商零售云项目,主要用户为零售商,项目包含在线购物的基本功能,商品展示,下单,支付等功能。
主要使用的技术,java,公司自有框架,类似double。
该项目收到集团的嘉奖。
主要负责的部分
1. 项目前期负责项目与其他服务接口的整理,例如支付接口,物流接口,短信接口等
2. 负责支付功能代码的编写,为支付消息添加数字签名,发送带签名的支付消息到服务器
项目3
美国最大基金公司的门户网站。
项目主要是为前台提供service,包括信息的curd,以及一些投资分析的工具用到的信息的处理。
主要技术,java,springboot,jrules,Oracle
主要负责部分
主要负责一些复杂逻辑代码的编写,包括一些复杂的金融算法,用到过蒙特卡洛算法,概率分析等