熟练掌握python语法,精通爬虫,熟悉scrapy,scrapy分布式爬虫,selenium爬虫,熟悉常见的各种反爬机制,能独立完成爬虫项目;熟悉前端开发,html,VUE,js,CSS的使用。熟悉微信小程序的开发。
1.京东图书爬虫,运用scrapy分布式爬虫,获取京东图书所有书籍,及书籍相关的资料;2.豆瓣电影爬虫,scrapy分布式爬虫获取相关电影,及电影所有评论,存入mongodb数据库。
运用scrapy爬虫高效获取苏宁易购图书,及图书相关的评分,图片地址,作者等各种相关信息。带有自动翻页效果。
scrapy分布式爬虫高效获取豆瓣电影所有评论及电影相关信息,并存入数据库。含有自动翻页效果。还可以添加自动代理IP地址。