猿急送>

其他后端兼职程序员

ID：267128

永不自闭的自闭狂

大数据开发工程师

公司信息：
北京神玥伟奥有限公司

工作经验：
4年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
其他
全区

技术能力

1、熟练掌握Java初级知识以及高级知识。
2、熟悉Java多线程编程，IO编程，集合处理。
3、熟悉redis缓存机制，以及消息队列。
4、熟悉zookeeper
5、能使用zookeeper 对应用服务实现高可用，基于zookeeper 开发等等
6、熟练使用Oracle,Mysql数据库，熟悉sql多表关联查询。
7、熟练使用Linux操作以及常用命令，熟悉shell编程
8、熟悉使用常用的开源框架 Spring、Struts2、Hibernate并对其原理有一定认识。
9、熟悉Struts2、Hibernate、Spring、Mybatis、SpringMVC等开源框架。
10、熟练搭建和使用hadoop,Spark集群环境。
11、理解MapReduce的工作原理，以及HDFS分布式文件系统原理。
12、熟练使用Hive,Hbase,Zookeeper, Sqoop,Flume,Phoenix等框架。

项目经验

公积金云4.0项目(web项目 2018.06--2019.11)
项目架构：React+SpringBoot+dubbo +activMq+Mybatis+Nginx+Redis +PL/SQL集群
项目描述:
对yun3.0系统进行升级,前端页面使用react进行前后端分离,拆分后台业务逻辑,实现spps微服务,提高数据效率与用户体验
责任描述:
1.公积金业务提取模块前端页面开发
2.后台业务拆分与流程开发
3.整合后台业务模块微服务开发
4.数据库存储拆分
公积金日志分析系统(Spark项目 2018.06--2019.11)
项目描述：
通过分布式spark集群处理网站产生的大量日志
分析出网站的流览量PV、访客数UV（包括新访客数、新访客比例）、
访问的IP数、跳出率、平均访问时长/访问页数、重点用户等信息
供公积金管理中心使用
开发环境与技术： HDFS+Hbase+MapReduce+Hive+Mysql+Spark
系统实现：1. 通过HDFS的api把日志数据导入到HDFS中
2. 明细日志使用Hbase存储，能够利用ip、时间查询
3. 使用Hive进行数据的多维分析
4. 把Hive分析结果导入到MySQL中
5. 提供视图工具供用户使用，指标查询MySQL、明细查询Hbase
后续开发：
Java开发，设置调度器，增加监控
1.周期性把日志数据导入到Hdfs中
2.周期性把明细日志导入Hbase存储
3.周期性使用Hive进行数据的多维分析
4.周期性把Hive分析结果导入到MySQL中

公积金云3.0项目 (web项目 2018.06--2019.11)
项目架构：SpringMVC+Mybatis+Nginx+Redis+Oracle集群
项目描述：
为了提升用户体验与业务效率,实现更完善的流程控制,将yun2.0进行升级
责任描述：
1、参与yun3.0缴存人信息与提取业务开发。
2、参与yun3.0报表系统开发。
技术描述：
1、使用了SpringMVC来进行三层架构的分层。
2、使用Mybatis来访问后台数据库。
3、Nginx来进行反向代理映射。
4、使用Redis缓存技术实现价格与库存的实时展现。
（商旅信息数据分析项目 2017.07—2018.03）
项目描述:
对爬虫爬取的商旅信息进行清洗分析并做可视化展现
需求描述：1.常规流量统计分析报表需求(流量地域统计、流量时段统计、流量分类终端统计、流量分类统计)。
2.终端统计分析报表需求(TOP N终端流量统计表、TOP N操作系统统计表、特定终端流量地域统计表、特定终端流量时段统计表、特定终端流量分类统计表)。
3.业务专题统计分析报表需求(即时交易量分析,航线分析,酒店分析)。
架构描述：1.因为数据量巨大，需求很细，且时间要求高，业务相对固定，所以采用数据仓库的标准。
2.因为hive的外部表保留的类似于书记的引用，不影响其他的数据处理工具对数据的处理，所以使用hive的外部表进行数据处理。
3.分层hive表设计 ODS层、pdw层、mid层、app层。
北京一路无忧商旅有限公司办公管理系统（OA项目 2017.07-2018-03）
开发环境： MyEclipse8.5+Tomcat6.0+mysql+SVN+Maven+redis项目描述：
该系统运行后，公司人员的办公效率大幅提升，实现了办公的统一调度和管理，为公司的高速发展提供了保障。
本系统主要包括员工管理、部门管理、岗位管理、考勤管理、审批流转，行政管理，知识管理，客户信息管理、人力资源、个人办公管理、任务和工作日志管理、统计报表、办公用品管理、车辆调度管理、权限管理模块。
责任描述：
参与了需求调研，模块编码，文档编写工作。
主要负责员工管理、部门管理、岗位管理、审批流转（包括审批流程管理，表单模版管理，发起申请，审批处理，状态查询）模块的编写和测试工作。
技术描述：
1、流程控制，使用了jbpm4对流程进行的控制，严格控制工作流程。
2、使用ztree控件实现知识目录树的管理，使用Ajax实现异步交互，使用jquery实现页面动态效果。

案例展示

实时大数据分析平台

对于日常企业、网站的运营管理如果仅仅依靠离线计算，数据的时效性往往无法满足。通过实时计算获得当日、分钟级、秒级甚至亚秒的数据更加便于企业对业务进行快速反应与调整。所以实时计算结果往往要与离线数据进行合并或者对比展示在BI或者统计平台中。
大数据实时分析

对于日常企业、网站的运营管理如果仅仅依靠离线计算，数据的时效性往往无法满足。通过实时计算获得当日、分钟级、秒级甚至亚秒的数据更加便于企业对业务进行快速反应与调整。所以实时计算结果往往要与离线数据进行合并或者对比展示在BI或者统计平台中。