本人熟悉Python爬虫,能够实现公众号的一下数据抓包爬取,和网站的数据爬取,还有一些电脑自动化的处理。可以实现一些自动抢票程序或者是刷票的一些行为。
有项目经验,熟练使用mysql、redis数据库、scrapy框架。有分布式爬虫经验,有独立发现问题、解决问题的能力,有良好的沟通能力,热爱技术。
项目描述(独自开发):监控某个医院的公众号的挂号情况,未来7天里医生的具体排班日期,
和剩余号数,最后通过查询采集数据结果,可以根据某位医生的余号情况进行挂号。
该项目为公司项目,不方便透露太多。 整个项目是对app和网站的数据进行爬取定时每天运行,作为一个增量式爬虫。然后对爬取到的文章,提取出来对关键字和错别字进行识别,并保存到数据库。整个项目自己独立开发,数据量达到一百万以上,现在也是自己在维护当中。
由于是公司项目,不放便透露太多。 整个项目是对推特指定用户进行爬取,查看是否有发文,然后进行文章的采集,采集到了之后通过接口,推送到前端进行数据展示。整个项目从开发到部署以及现在的维护都是自己独立开发。