基本信息

案例ID:185161

技术顾问:Z-hhh - 3年经验 - 江苏西格

联系沟通

微信扫码,建群沟通

项目名称:工业大数据

所属行业:企业服务 - 数据服务

->查看更多案例

案例介绍

系统架构:kafka+flink+HBase+redis+doris+DolphinScheduler
实时采集工厂设备的信息,flink实时处理到doris库,DolphinScheduler定时汇总出结果表。原项目采用storm+mysql的方
式,进行了全新改造。
①改造原始框架、设计新框架
②环境搭建设计、部署
③数据处理逻辑优化,减少对redis的依赖
④DolphinScheduler部署使用,利用doris的性能,减少代码处理数据
⑤flink采用Scala编写、部署
⑥sql编写,用于后端查询数据,减少后端计算数据的压力
⑦手写数据迁移工具,从mysql到doris

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服