项目名称:工业大数据实时计算平台 项目时间:2020.04-至今 项目职位:大数据开发工程师
项目描述:工业大数据实时计算平台主要是解决实时流数据过程中一系列场景的数据计算,应声而出的一个计算系统,系统主要用于计算规则的灵活使用,对数据的实时计算和离线计算。
工作职责:1、flink计算平台的架构设计
2、flink on yarn集群的搭建与任务资源调优的解决方案与实施
3、flink计算任务面对数据延迟的解决方案与实施
4、设计工业中实时流补算的业务场景的解决方案
5、flink集群任务的调度接口设计与实施和监控设计方案设计