系统架构:kafka+flink+HBase+redis+doris+DolphinScheduler
实时采集工厂设备的信息,flink实时处理到doris库,DolphinScheduler定时汇总出结果表。原项目采用storm+mysql的方
式,进行了全新改造。
①改造原始框架、设计新框架
②环境搭建设计、部署
③数据处理逻辑优化,减少对redis的依赖
④DolphinScheduler部署使用,利用doris的性能,减少代码处理数据
⑤flink采用Scala编写、部署
⑥sql编写,用于后端查询数据,减少后端计算数据的压力
⑦手写数据迁移工具,从mysql到doris