利用python做爬虫,微信小程序,数据分析,数据挖掘 。精通使用scrapy、pandas、numpy等python库。
对电商平台商品数据爬取并进行分析,使用matplotlib对有效数据进行可视化操作。
利用python对虚拟机进行操控,编写python脚本
利用Java语言编写mapreduce计算方法,进行数据清洗,上传hive仓库,通过HQL进行对表中数据提取、归纳、分析。
2018.12––2019.04 参加山东省大数据国赛选拔赛
在此次比赛中,我主要负责数据分析这一模块,Hadoop搭建完成后,利用Java语言编写MapReduce并打上jar包,进行数据清洗,将清洗后的数据上传至hive中,并用HQL命令进行数据统计。
比赛中,协助同学做数据挖掘这部分,利用python做一个站点的爬虫,得到json数据。
在这次比赛中,获得第五名的名次。
2018.04 – 2018.11 参加山东省云计算技术与应用省赛
我在本次比赛中主要负责open stack、docker的搭建与运维。
在集训中,参加了由南京55所举办的云计算培训。进一步学习Iaas搭建与运维和docker file文件编写。
此次比赛,获得省赛三等奖名次。