技术能力

1.熟练Mysql、Oracle、DB2等关系型数据库，SSH、MiniDao、MyBatis等Java应用框架。
2.熟悉Zookeeper、kafka集群环境的搭建和使用以及相应kafka监控工具的使用,熟悉kafka生成者java api开发
3.熟悉mongo,redis等nosql的开发使用。
4. 熟练使用Spark大数据框架编程，熟练使用Spark Streaming、Spark Sql，了解Spark内核，有spark调优经验。
5. 熟悉hadoop生态系统各个组件如Flume，Oozie，Hue，Sqoop，camus大数据协作框架，熟悉Hbase架构，Hbase 的开发及维护，以及hbase相关的读写优化，jvm优化。
6. 熟练Hive开发及相关调优，了解shell编程及linux基本命令。

项目经验

项目职务： 项目负责人
所在公司： 浙江集商网络科技有限公司
项目描述： 实时同步业务需要的mysql binlog数据到kafka，消费kafka数据实时写入kudu，并对kudu数据使用datav大屏通过impala sql查询并将结果数据写入mysql，对数据进行分钟级更新；在hive数仓建立rods实时层，使用impala sql供分析产品及etl人员实时分析数据
项目职责： 1.预研及确定数据方案架构
2.搭建mysql binlog同步工具canal实时同步
3.搭建kudu集群并优化及相应监控，开发kudu crud代码并对性能进行压力测试
4.开发数据计算及结果数据同步代码


涉及计算:hue、impala、kudu、springboot、canal、kafka、dataV

团队情况