原始计算平台依赖SQL存储过程,吞吐量低、开发维护困难,进过调研各种实时计算平台,最终决定基于Flink搭建一套集开发以及监控的计算平台
1. 在迁移历史项目的时候发现,一个单一的Flink Job开发涉及到代码编写、编译、包上传、查看日志等多个步骤,开发周期以周为单位,针对这个问题,基于Flink SQL Client和terminado开发了一套SQL实时调试系统,支持在web直接编写SQL开发和调试,支持实时返回运行结果,将Flink Job开发调试周期压缩到日,减少了90%的调试时间
2. 随着平台跑的Flink Job越来越多,设计了一套web界面管理并监控Flink Job,支持邮件报警,以及自定义Hook