熟悉JAVA、C、C++、C#、PHP等常用开发语言与各自对应开发框架,如SpringBoot、SpringCoud、Mybatis等框架;
熟悉常用分布式框架架构与原理,如SOA、Dubbo等;熟悉常用消息队列,如kafka、Redis等;
熟悉Java多线程等;
熟练使用MySQL、Oracle、SQL Server、Sybase等关系型数据库;
熟练使用Redis、Mongodb等非关系型数据库;
熟练
熟练使用Hadoop、Hdfs、HBASE、Elasticsearch、Zookeeper等常用大数据框架;
熟悉docker、esxi等虚拟化环境的部署与使用;
熟悉Nginx、Apache、Tomcat等Web服务器部署与使用;
熟悉Maven、git等常用工具使用;
某厅局基于大数据存储与分析的海量流量分析系统研发
系统采用基于MySQL的数据库+HDFS+Elasticsearch组合架构方式实现海量数据的分存储、检索、分析;
流量采集端使用DPDK实现,以满足万兆流量或更大流量
系统采用分布式架构实现,对于系统控制与调度信息通过MySQL数据库同步实现,各个客户端通过不同设置具体实现具体业务;在客户端机器比较多的情况下,为简化客户端不同功能同一部署,客户端采用集成所有功能、通过不同配置实现不同业务功能;
为满足海量数据的存储写入,对HDFS写入做了针对性的优化,采用直接创建HFile文件然后导入HDFS创建表;此种方式,相比较一般的数据批量写入方式,可节省大量时间,提高写入效率;
Elasticsearch内存优化以及操作系统相关对应参数优化;
角色 | 职位 |
负责人 | 高级研发工程师 |
队员 | 产品经理 |
队员 | UI设计师 |
队员 | iOS工程师 |
队员 | 安卓工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |
系统架构采用基于Spring的自研设计SOA框架实现,包括服务调用、APP同一网关等;主要参与产品商城、订单下单、支付以及支付对账等功能模块开发; 排查并解决所负责模块相关的对应问题,优化对账系统相关流程以及复杂SQL、提高性能;
架构设计:基于springboot的微服务开发; 报表统计; 前端页面开发; 前后端分离; 运维管理; linux+ssl
工程师很热心,负责。非常感谢!