项目描述:将广告投放数据与手机订单成交数据进行入库,建立集成业务数据的数据仓库,通过数据仓库进行数据清理与手机卡销售的利润结算,将手机卡销售情况以不同维度,使用BI工具进行展示。
项目角色:数据仓库设计与开发、实现数据应用
编写python脚本,提供数据入库的工具,通过jupyter可视化界面,实现上传数据并执行脚本,供运营人员实现数据入库。收集可获取源数据的API接口,使用定时程序的方式获取数据并入库。
结合业务数据划分与数据结合过程中的容错率,设计数据仓库结构,编写python脚本实现数据仓库数据的清理、计算、统计,随着数据量增长使用hive数据库与pyspark实现数据仓库的数据更新。
BI工具与DA层数据表进行连接,绘制BI界面进行展示。BI展示不仅用于业务观察,还要用于发现异常数据,将异常数据进行反馈,获取解决方案,解决方案包括数据处理规则扩展、业务数据逻辑调整、反馈源数据存在的问题进行修复等。