1.熟练使用 JAVA ,Python等编程语言。
2.熟练使用 Springboot,Mybatis,Vue 等框架技术。
3.熟练使用 Mysql 等关系型数据库,了解 Sql 优化。
4.熟悉 Hadoop,Hive,Spark,DataX,Flink 等技术。
5.熟悉 Redis,RabbitMq 等中间件。
6.熟悉 Linux 系统的常用基础命令以及shell编程,了解docker应用部署。
7.熟悉 PowerBI,FineBI 等可视化工具。
项目介绍:
为gap客户收集每年在大陆,台湾线上线下门店的销售数据,存入ODS层数据库。对数据进行分析处理构建一致性的维度和事实存入DWD层。再对数据按年,月,季度,周的维度划分数据存入DWS层。最后将客户需要的数据信息存入ADS层为数据可视化,数据分析报表提供数据支持。使用可视化工具和前端框架对ADS 层数据进行可视化,为客户进行数据分析提供可视化服务。
我负责的内容:
1. 将客户提供的xlsx文件数据用python转换成csv文件传到HDFS文件系统中,然后映射到hive数据库。
2. 使用sql将ODS层数据进行处理分层存入DWD,DWS,ADS层当中。
3. 将 hive数据库中ADS层数据使用DataX同步到clickhouse中,为数据可视化提供支持。
4. 使用Vue框架以及可视化工具对部分数据进行可视化。
5. 对数据进行质量测试并撰写测试报告。
技术:
HDFS+hive+MapReduce+sql+clickhouse+DataX+Redis+Linux+shell+python+Java+Springboot+Vue+Mysql+tableau
项目介绍: 该项目主要是为了给客户升级改造原有的 Gap商城小程序。项目主要分为会员 小程序,礼品卡小程序,公众号,数据迁移,小程序后台管理系统等部分。小 程序之间相互关联,有后端管理系统统一配置管理。所有小程序与微信账号相 互绑定,账号资源可以共享使用。公众号主要负责
项目介绍: 为gap客户收集每年在大陆,台湾线上线下门店的销售数据,存入ODS层数据库。 对数据进行分析处理构建一致性的维度和事实存入DWD层。再对数据按年,月, 季度,周的维度划分数据存入DWS层。最后将客户需要的数据信息存入ADS层为 数据可视化,数据分析报表提供数