flink实时电商数仓

电子商务-B2C 梁锦泉

电商实时数仓项目 2021.7-2021.9 项目介绍: 该项目针对业务需求统计实时指标,实现精细化运营及精确营销服务。使用Flume实时采集埋点日志、使用Flink CDC实时采集业务数据;使用流处理计算框架Flink实现多留合并和分组、开窗、聚合操作,使用Kafak构建分层的实时数仓(ODS、DWD、DWS),使用Hbase、Redis保存维度表,将DWS层数据实时写入ClickHouse。 主要技术:Flink CDC、Flume、Kafka、Flink、Redis、HBase、ClickHouse、DataV 任务描述: ...

flink实时电商数仓
flink实时电商数仓

离线电商数仓

电子商务-B2C 梁锦泉

离线电商数仓项目 项目介绍: 采集电商网站的用户行为日志和业务数据进行数仓建模和统计分析。该项目采集网站产生的日志数(页面日志、事件日志、曝光日志、启动日志)和业务数据进行维度建模、数仓分层建设,分为多个主题如:用户主题、品牌主题、地区主题等,来实现对于网站的更深层次的优化。 主要技术:Hadoop + Hive + Flume + Sqoop + Azkaban + MySQL+ Superset 任务描述: 1.使用日志采集框架 Flume 和 Sqoop 分别采集日志数据和同步业务数据到 HDFS; 2.使用 Hive 搭建数据仓库、完成数仓维度建模、数...

离线电商数仓
离线电商数仓
------ 加载完毕 ------
联系需求方端客服