案例介绍
数据流向：
使用Clickhouse的kafka引擎拉取Kafka数据到clickhouse本地集群，通过物化试图对数据进行消费，写入到分布式表中。summingMergeTree引擎基于ReplicatdMergeTree进行预聚合，并设置数据的 TTL 生命周期。通过WaterDrop从Hive中把历史数据导入对应的summingMergeTree引擎的表中。提供实时的多维聚合查询。
离线架构：
MySql -> Spark-SQL（平台封装工具） -> Hive ->Spark-sql(WaterDrop) -> clickhouse
实时架构：
MySql(binlog) -> canal -> Kafka -> Flink -> (kafka,HDFS) -> clickhouse
项目描述：
离线模块接入数据后，进行脱敏，降噪，降维等操作，建设公司电商平台的公共数据应用层，支持数分和数据产品的需求分析。实时模块实现按时间地区统计GVM（黄金坑位GMV，订单数等等），实时PV，UV等指标监控大屏，实现自定义数据分析系统。
案例图片
相似案例推荐
其他人才的相似案例推荐
-
商城系统
身为该项目的PHP工程师，我负责写后台，接口，对接地图等，采
-
杰中杰礼品网
企业礼品个性化定制网站，可为客户提供礼品策划、设计、制作、配
-
项目案例集合
关于iTalkBB iTalkBB是为海外华人提供国际
-
项目案例集合
www.youzigift.com www.325999.
-
案例作品2
一家专业的电商平台，为用户提供丰富的商品、便捷的购物方式和完
-
案例作品
一家专业的电商平台，为用户提供丰富的商品、便捷的购物方式和完
-
恩琪商城
商城整体开发，APP 利用Thinkphp框架完成对系统后
-
长城移动公众号
长城移动微信公众号,用来进行长城移动电话号码的售卖,并且可以
-
生活小鑫
负责：小程序端独立开发 功能：商城包含的基本功能，购买，下
-
大数据可视化项目
项目名称： 大数据可视化项目 技 术 栈： React +
-
微信订水小程序
服务端使用springboot、mybatis、redis、
-
太多了
全栈全栈全栈全栈全栈全栈全栈全栈全栈全栈全栈全栈全栈全栈全栈
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
