案例介绍
项目介绍：
为gap客户收集每年在大陆，台湾线上线下门店的销售数据，存入ODS层数据库。
对数据进行分析处理构建一致性的维度和事实存入DWD层。再对数据按年，月，
季度，周的维度划分数据存入DWS层。最后将客户需要的数据信息存入ADS层为
数据可视化，数据分析报表提供数据支持。使用可视化工具和前端框架对ADS
层数据进行可视化，为客户进行数据分析提供可视化服务。
我负责的内容：
1.将客户提供的xlsx文件数据用python转换成csv文件传到HDFS文件系统中，然
后映射到hive数据库。
2.使用sql将ODS层数据进行处理分层存入DWD,DWS,ADS层当中。
3.将 hive数据库中ADS层数据使用DataX同步到clickhouse中，为数据可视化提
供支持。
4.使用Vue框架以及可视化工具对部分数据进行可视化。
5.对数据进行质量测试并撰写测试报告。
技术：
HDFS+hive+MapReduce+sql+clickhouse+DataX+Redis+Linux+shell+python+Java
+Springboot+Vue+Mysql+tableau
案例图片
相似案例推荐
其他人才的相似案例推荐
-
千讯通
主要经营为通讯器材等设备，通过小程序实现光猫、机顶盒、路由器
-
链车引力
链车引力是专注于新能源汽车服务领域，为用户提供选车、买车、用
-
电商运营后台
电商运营后台 项目概述：本项目主要为服务于用户及商家及运营
-
微商来商城
这是一款微商城+多级分销+分红代理+营销活动+新零售多层级的
-
有路平台（核心项目app）
内容: 主要对商品信息浏览购买以及游戏签到问卷等相关活动的
-
NFT数字藏品--移动端
完成登陆页面，注册页面表单构建，交互，路由跳转等； 根
-
sass项目
使用vue2+axios+scss技术独立进行开发，整体项目
-
某业务网站
通过服务端渲染SSR进行页面直出，大大增加SEO检索度；
-
浙里好券
“浙里好券”项目限制区域是浙江，主要分为云闪付小程序和后台管
-
华品优选
线上小程序商城 后台管理各种商品信息 普通商品 积分
-
金乐福APP
1. 金乐福是一款 金饰品、珠宝 B2C商城， 2. 使用
-
京东协议
wskey登录，ptkey登录，商品信息查询，资产信息查询，
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
