责任描述: 负责实时数据流的整体架构设计及部署,对一天1T的数据量存储做出优化,
对接ERP系统,并行化采集数据,实时存储读取,给工厂搭建实时数仓模型用于后续AI优化工艺
解决的问题: 解决工厂业务方面设备的渐发性故障,各种原因导致设备劣化老化,逐渐发展而产生的的故障,此指标制定规则为,发生故障的概率与本设备的使用时间,设备使用时间越长,发生故障概率越大
技术实现: 1. 机台将图像数据转换成结构化的文本数据,存到文本文件中中;
2. 通过FlinkCDC监控 提供API将数据导入到Kafka中;
3. 通过Flink从Kafka获取数据,编写代码,实现实时存储;
4. 将分析结果通过API写入HBase,并缓存到Redis中;
5. 前台获取Redis中的数据,做出判断;