熟悉Python,Scrapy(Scrapy-Redis),MySQL,以及爬虫常用的py库,如:urllib, lxml, selenium, request, bs4等。了解html,xpath,正则等爬虫所需知识,可以使用Github等版本控制工具。
魔方格网站爬虫 – 2017.08
工作描述:搭建开发环境,编写爬虫,初步数据清洗,数据入库
开发技术:Python + Scrapy + MySQL / Redis (Ubuntu with PyCharm)
浏览器自动化操作 – 2017.05
工作描述:搭建开发环境,编写脚本,运行测试
开发技术:Python + Selenium + Excel (Windows with VS Code)