工业大数据

企业服务-数据服务 Z-hhh

系统架构:kafka+flink+HBase+redis+doris+DolphinScheduler 实时采集工厂设备的信息,flink实时处理到doris库,DolphinScheduler定时汇总出结果表。原项目采用storm+mysql的方 式,进行了全新改造。 ①改造原始框架、设计新框架 ②环境搭建设计、部署 ③数据处理逻辑优化,减少对redis的依赖 ④DolphinScheduler部署使用,利用doris的性能,减少代码处理数据 ⑤flink采用Scala编写、部署 ⑥sql编写,用于后端查询数据,减少后端计算数据的压力 ⑦手写数据迁移工具,从mysql到do...

工业大数据
工业大数据

文旅大数据

文化娱乐-旅游 Z-hhh

项目描述: 目的是通过数据的碰撞,探索目前地方旅游业的未知问题,分析和挖掘市场需求,从而提高决策能力,创新管理模式,改 变商业模式催生产品和服务的创新。 核心功能: 离线部分: 基于已有数据对区域范围内的旅游产品分析展示; 定时监控舆情信息; 实时部分 基于核心业务数据(旅游订单、酒店住宿等)的相关实时计算指标、实时展示; 基于埋点数据,对用户行为数据进行实时分析展示; 基于用户异常数据监控并报警展示。 主要职责: 1.参与前期的项目分析,参与维度表、事实表的设计; 2.数据对接与储存; 3.参与实时数据的过滤清洗; 3.使用spark/hive完成相关指标分析;...

文旅大数据
文旅大数据
------ 加载完毕 ------
联系需求方端客服