擅长使用flink进行实时数据开发,独立负责过日增TB级数据量的项目经验。
拥有丰富的性能优化及反压问题定位修复经验。
拥有针对特定的业务场景的优化方案设计能力,大幅度提高任务性能及稳定性。
拥有搭建数据仓库的经验,包括数据采集,入库,计算,监控告警等。
flink 二次开发,flink sql client,phoenix connector,postgre connector(do nothing版本)。
目前使用过的技术:
调度系统:dolphinScheduler
任务计算引擎:离线spark,实时flink
其他组件:kafka,hdfs,hbase,clickhouse,elasticsearch,redis,aws redshift,aws s3,aws emr等