项目名称:二维码精准化营销平台
项目描述:
依据用户的消费数据,建设数据中心,为客户提供决策依据,并赋予AI营销功能。
技术方面:
项目建设是以由点到面的建设过程,项目流程是先确立需求,建立ods库,数据集市,以供算法组使用,其流程从业务库全量备份数据,建设缓冲库(因不能和业务库耦合),从缓冲库中开发python脚本做etl抽取到ods库,从ods库开发kettle脚本,抽取到data_mart。
项目中间点,搭建大数据平台,组件选择以hadoop+hive(impala)+spark为内核的集群平台,搭建完毕后,使用sqoop工具接入前期在关系型数据库数据,并设计数据仓库模型,开发相关脚本。
责任描述:
1.搭建大数据平台相关组件,以及工具,平台集群管理,维护。
2.etl设计与开发(全量/增量),包括kettle脚本,sqoop+hiveSql脚本,python脚本。
3.调度系统搭建与管理。
4.数据仓库建设。
5.技术文档,应用文挡写作,定期向客户输出营销活动运营报告。