浏览器模拟登陆;
js破解动态请求参数;
scrapy 爬虫框架熟练应用;
数据处理(包括Matplotlib绘图);
熟练应用Redis作为爬虫中间件,去重,缓存数据
熟悉 MongoDB、MySQL作为数据存储工具;
网易云音乐歌曲、歌单、歌手、专辑、以及相似信息的全局抓取
通过 Python 模拟网易云 aes加密后的参数,请求js 文件分析的接口,最后部署 scrapy-redis+动态 ip 完成抓取
携程酒店信息实时抓取
用 execjs、PyV8模拟 js代码参数构造通过抓取接口完成房型房价实时抓取