python的爬虫框架scrapy,阿里云oss,mysql,redis,正则表达式和xpath的数据抽取,selenium,phantomJS,Chrome的headless模式,数据采集,模拟真人操作浏览器
我开发的爬虫具有日志分级记录功能,上传阿里云oss备份功能,爬虫出错自动发送邮件功能,模拟浏览器的功能等等,而且将上述功能实现了模块化,大大提高了爬虫开发效率,我开发的爬虫为公司提供了稳定的数据,切实解决了缺失数据的燃眉之急,完成这些工作后,我又为运营部开发了刷量爬虫,也是通过逐步完善,最终成功搭建了整个自动化刷网页浏览量的平台,如今,运营人员可以方便地进行刷量任务,