1、编程基础扎实,思维敏捷,逻辑清晰,熟练使用Java网络编程、反射、IO、多线程、
常用设计模式等,掌握单向链表、双向链表、环形链表、二叉树等数据结构,掌握BinarySearch、QuickSort、MergeSort、HeapSort等算法以及分治、归并、递归、动态规划等算法思想;
2、熟练使用spring、springmvc、mybatis、springboot、springcloud、netty、struts2、hibernate、quartz等主流框架开发;
3、熟练掌握分布式、缓存、异步、消息、集群、负载均衡等机制,redis、elasticsearch、zookeeper、dubbo、kafka、activemq等集群架构;
4、熟练掌握协调服务框架Zookeeper的数据结构、存储机制及其可提供的服务;
5、熟练掌握Kafka集群的搭建与配置、架构与原理、分区策略、数据丢失与重复消费
原因以及offset的手动维护策略;
6、熟练掌握redis集群搭建、数据类型、事务、分布式锁、淘汰策略、持久化方案等;
7、熟练掌握EleasticSearch原理、调优、查询聚合等DSL语言以及Java API和Rest API;
8、Sql功底扎实,掌握Hive动态分区、分桶、开窗函数、行列转换、sql调优等;
9、熟练掌握HadoopHA集群的搭建与配置、HDFS文件存储传输机制、MapReduce工
作原理、Yarn资源管理调度机制,以及MR程序调优;
10、熟练掌握Spark任务调度和资源调度过程,可根据业务使用SparkCore算子完成SparkCore、SparkSql、SparkStreaming的数据处理研发;
11、熟练掌握HBase的工作原理、底层结构,掌握rowkey设计原则、预分区原理;
12、熟练掌握Flume单层和多层拓扑结构、合理运用Flume拦截器搭建数据采集系统;
13、熟练使用Sqoop框架进行RDBMS和HDFS、Hive、HBase间的数据导入导出。
项目一:一体化日志管理平台
项目软件技术:
Hadoop+Flume+Strom+Hbase+Kafka+ElasticSearch+Redis+SSM+Mysql+Zookeeper
责任描述:
作为项目组长负责整个项目业务分析、技术选型、架构设计
负责代码开发、整体进度推进、功能验收等
项目简介:
该项目主要服务于银行系统,对其核心系统、业务系统及其它软硬件的日志采集、监控、存储、分析。集查询分析、链路分析、预警监控、存储管理、统一配置、权限管理等为一体,大大提升运维人员工作效率。目前已在江西银行、长沙银行、攀枝花银行、湖南农商行、东莞农信等银行投产。
项目二:一搜车城实时车源信息提取分析系统
项目软件技术:
Hadoop+Flume+Kafka+SparkStreaming+ElasticSearch+Redis+Springboot+Mysql
责任描述:
1. 负责业务分析、技术选型、架构设计、表结构设计
2. 负责.net程序实时信息采集,去重、预处理
3. 负责实时模块自定义智能分析算法开发
4. 负责结果消息的存储、索引、缓存
项目简介:
该项目利用网页版微信读取群聊天记录,以日40万条的速度实时获取聊天记录,并基于第三方提供的标准车型库,进行实时数据分析、提取车源信息,用于用户检索、车源推荐等,便于B2B商家进行车源调度。
项目三:JYSD日志告警系统
项目软件技术:
Kafka+Flume+SparkStreaming+Yarn+Redis+Mysql+Springboot
责任描述:
配合运维完成Flume客户端部署监控应用程序产生的日志信息;
2. 完成日志采集、实时监控、配置加载
3. 完成配置服务器搭建、页面编写
项目简介:
该项目对日志信息进行实时监控,通过关键词匹配完成信息顾虑。保证公司的业务正常发展,对线上系统进行监控,做到出现问题的时候及时的发现和处理,最大程度减少对业务的影响。监控系统日志中的内容,按照一定规则进行过滤,发现问题后通过短信和邮件进行告警。
项目四:WIFI探针商业大数据分析
项目软件技术:
Hadoop+Kafka+Hive+Spark+Sqoop+Redis+Mysql+Springboot+Echarts
责任描述:
协同完成架构设计、表结构设计
完成数据清洗、过滤等预处理
完成部分(区域客流量、入店客流量、入店率等)数据分析
项目简介:
该项目通过智能设备WIFI探针的广播信号,获取周围设备的MAC地址。通过记录MAC地址出现时间和地点,掌握商场周边以及店内人流量情况,从而帮助商家检测营销效果。
项目五:Aipark城市级智慧泊车系统
项目软件技术:
Spring+Springmvc+Mybatis+Dubbo+Redis+Activemq+Quartz+Solr+Nginx等
责任描述:
负责系统权限设置、设备管理、资产管理、收费员管理、计费管理、停车场
配置等
2. 负责定时任务调度,mq消息同步
项目简介:
该项目是进行二期重构,是智慧城市泊车智慧泊车的核心项目,提供公共停车场,企业停车场智能解决方案,为实现解决一期工程耦合度过高,实现解耦,项目采用分布式,子系统之间进行远程调用。
项目六:康姿CRM
项目软件技术:
Springboot+Mybatis+Shiro+Layui+Activemq+Quartz+Redis+Mysql等
责任描述:
1. 负责权限、用户、销售顾问、绩效等模块编写
2. 负责即时绩效分析、客户关爱、即时消息等模块编写
项目简介:
这是康姿百德集团所有销售顾问以及各级领导使用的智能掌上平台,方便大昌集团各个分部对下属的管理,以及各个销售人员对所属客户进行精准化管理的一体平台。