基本信息

案例ID:138089

技术顾问:浮云骑士 - 3年经验 - 伯图大数据管理有限公司

联系沟通

微信扫码,建群沟通

项目名称:数据分析平台

所属行业:人工智能 - 其他

->查看更多案例

案例介绍

2、事例3
项目名称:伯图大数据-整体数仓
项目时间:2019年3月01日~2020年03月10日
项目职责:配合技术经理,负责整体数仓开发的进度控制与任务分配。
项目成果:统一的数仓,数据结构
项目使用技术:spark2.2.0、hbase2.0、hive2.1.1、kylin2.1.0、Java1.8、OGG、
scala2.11.8、shell脚本以及定时任务设置。
项目技术难点:
1.数据采集:各个子公司使用的系统平台未统一,使用的数据库和操作系统不同。数据库有mysql,oracle,sqlserver等。
2.各个公司的业务类型统一,以及数据结构的统一。
3.统一销售、采购和库存等业务流程,构建统一的数据模型。
4.存在个别公司,使用的sqlserver 表字段名为中文,无法使用hive On hbase 模式设置读写分离。
项目介绍:涉及7家药品销售商业公司和5家药品制造工业公司的异构数据整合。
将各个商业公司异构数据经过采集、分析、清洗。形成统一、规范化的数据结构。
统一数仓主要包含功能,销售流程、采购流程以及库存模块的数据规范统一。

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服