Python 基础扎实, 有良好的编码习惯;
了解HTML + CSS 网页设计,
熟练基于 Requests, Scrapy, Selenium 各模块的数据抓取,利用Xpath, BeautifulSoup,Re 的数据清洗, 验证码,登录,js异步加密,等各种反爬措施的应对;
熟悉数据库MySQL;
熟悉windows,linux操作环境,能够独立完成开发工作。
了解Re,Xpath,Json用法,能够使用Selenium + PhantomJs实现动态请求分析抓取。
熟悉Scrapy爬虫框架
工作认真负责,有上进心。
参与过学校实训项目
我的职责:首先爬取首页后通过xpath匹配每个的信息块的span后构建请求,并通过scrapy.Request发送请求,用xpath匹配需要的信息。