基于阿里巴巴OneData方法论最佳实践搭建企业级别的数据中台。
技术选型 考虑因素:数据量大小、业务需求、行业内经验、技术成熟度(比如spark/flink)、开发维护成本、总成本预算等
1、数据采集传输:Flume(用户行为数据采集,因为这部分数据都是日志文件的形式),DataX(业务数据采集,因为要把数据从 MySQL 传输到 ClickHouse),Kafka(流量削峰)
2、数据存储:MySQL,ClickHouse
3、数据计算:ClickHouse
4、数据可视化;Superset离线数据分析
5、任务调度:DolphinScheduler(国产开源,兼具轻量级和功能丰富,用于离线)
6、集群监控Prometheus(实时)
7、Spring Cloud微服务框架
满足中小创业型公司数据中台建设和数据指标分析体系的建立,最小的成本满足多样性的数据分析场景和需求。