2、事例3
项目名称:伯图大数据-整体数仓
项目时间:2019年3月01日~2020年03月10日
项目职责:配合技术经理,负责整体数仓开发的进度控制与任务分配。
项目成果:统一的数仓,数据结构
项目使用技术:spark2.2.0、hbase2.0、hive2.1.1、kylin2.1.0、Java1.8、OGG、
scala2.11.8、shell脚本以及定时任务设置。
项目技术难点:
1.数据采集:各个子公司使用的系统平台未统一,使用的数据库和操作系统不同。数据库有mysql,oracle,sqlserver等。
2.各个公司的业务类型统一,以及数据结构的统一。
3.统一销售、采购和库存等业务流程,构建统一的数据模型。
4.存在个别公司,使用的sqlserver 表字段名为中文,无法使用hive On hbase 模式设置读写分离。
项目介绍:涉及7家药品销售商业公司和5家药品制造工业公司的异构数据整合。
将各个商业公司异构数据经过采集、分析、清洗。形成统一、规范化的数据结构。
统一数仓主要包含功能,销售流程、采购流程以及库存模块的数据规范统一。