我从事的工作主要是数据分析,主要的技术是python,MySQL。熟练机器学习,网络爬虫。对Hadoop,nosql也是有所了解并能运用。平时工作内容主要是数据处理,数据爬取,可视化。业余时间也会自主的爬一下微博,一些小说,一些网页评论以及招聘网站的招聘信息。在这个领域上有较多的工作经验,对技术熟练。能够很好的解决技术上遇到的各种问题。
项目一:招聘网站的招聘信息爬取并做可视化。
主要是爬取boss直聘,拉勾网的招聘信息,对获取到的数据进行预处理。然后运用flask以及pyechart在网页上进行可视化展示。
项目二:招标信息爬取。
主要是负责帮公司对政府网站爬取相关专项债的招投标信息。
利用python爬取boss直聘的招聘信息,对其进行数据处理,然后实现可视化并展示在前端页面。爬虫,数据处理,网页设计,可视化皆是自己一人实现。
主要是利用python对专项债的招投标数据进行爬取,运用selenium实现自动翻页,点击以及返回,并获取数据。