技术能力

1、熟练使用Spark、SparkSQL、SparkStreaming开发
2、熟练使用Hive SQL，SQL查询性能调优
3、熟练使用HDFS，YARN调度
4、熟练使用HBase、Kafka、Flume等大数据开发套件
5、团队成员有精通SpringBoot开发、HTML开发的前后架构团队
6、团队成员有UI设计师

项目经验

1、负责研发南方电网某数据仓库开发。实现了林立业务系统。多源异构的数据融合、数据交换。采用业界较为先进的RDMBS数据库同步监听程序，实现了对关系型数据库动态实时同步。
采用Hive搭建离线数仓，使用维度表，关联表实现对多业务系统的数据整合，进而达到全局一张图的数据仓库展示效果。期间解决了存储性能优化、查询性能优化等问题。
2、负责某大型国企实时数据消费系统开发，采用kafka、SparkStreaming、FlinkStreaming构建实时数据消费系统，对上游实时更新业务系统数据进行了逻辑消费，消费过后的业务数据实时打印在全局大屏。

团队情况