擅于使用python语言进行网络爬虫软件开发,获取需求的内容,熟悉mysql数据库,擅长hadoop环境系统,将所爬取的数据进行有效存储,另外,擅长用python语言进行数据分析,可视化等需求。擅长机器学习以及深度学习模型,图形界面编程。
微博数据爬取以及数据分析,裁判文书网的网络爬虫数据可视化,做过几个图形界面的软件,利用Hadoop大数据系统进行过网络舆情分析。
通过python中selenium包进行代码编写,解析网页的html完成爬虫的实现,并将所需数据存储在数据库中
通过网络爬虫获取美国警察暴力执法的相关数据,通过python中的seaboarn和matplotlib等相关包进行数据可视化分析