能够熟练使用python编程,有良好的编码习惯,熟练使用python相关库;
熟练使用requests爬虫库以及scrapy爬虫框架;
熟练使用xpath,css,bs4等解析方式,熟悉JSON数据解析;
熟悉一些网站的反爬机制,以及Cookie模拟登陆和一些简单的验证码识别机制
对pyspider有一定的了解;
熟练的使用Django框架;
熟悉Linux环境及常用服务;
对Web前后端技术和服务架构有基本的了解;
1.爬取酷狗音乐、网易云、QQ音乐等各大音乐平台官网上所有的vip歌曲和MV
2.爬取抖音App相关视频
3.爬取爱奇艺、乐视、优酷等视频网站所有的付费电视连续剧、电影
用一个scrapy框架爬取斗鱼颜值区所有直播照片,本人在此作品中担任写代码,由个人完成。scrapy框架
用requests,css选择器,爬取电影bt链接。作品中负责写代码,由个人完成,requests。