数据-鱼的记忆的案例列表

离线和实时项目

生活消费-出行 数据-鱼的记忆

擅长使用flink进行实时数据开发,独立负责过日增TB级数据量的项目经验。 拥有丰富的性能优化及反压问题定位修复经验。 拥有针对特定的业务场景的优化方案设计能力,大幅度提高任务性能及稳定性。 拥有搭建数据仓库的经验,包括数据采集,入库,计算,监控告警等。 flink 二次开发,flink sql client,phoenix connector,postgre connector(do nothing版本)。 目前使用过的技术: 调度系统:dolphinScheduler 任务计算引擎:离线spark,实时flink 其他组件:kafka,hdfs,hbase,clickhou...

离线和实时项目
离线和实时项目

大数据项目及性能提升

生活消费-出行 数据-鱼的记忆

一、参与并主导完成TB级实时出行服务框架的搭建 导致反压的原因:频繁访问多种外部组件 解决方式:使用广播流的方式降低,redis和mysql的压力 数据接入、解析、赋值 多种维度数据生成的广播流 维度属性赋值使用全量redis/mysql+增量kafka的方式,保证数据即时更新 双流join 射线法,判断点是否在不规则多边形内 唯一标识判断、赋值,对一段时间内的连续行为,添加相同的标识,类似session id 事件时间的超时判断及系统时间的超时判断 指标计算 使用类AggregatingState的实现,优化代码 解决shuffle中乱序导致的状态数据持续累计变大...

大数据项目及性能提升
大数据项目及性能提升
------ 加载完毕 ------
联系需求方端客服