掌握爬虫技术,从最基础的网站到需要js逆向的网站都可爬取。会运用mysql,mongdb,redis数据库,可进行数据处理。会运用scrapy框架,掌握多线程多进程协程技术,可高效率爬取数据,会运用selenium自动化工具,会运用fiddler工具进行抓包,应对不同网站
可以通过多进程技术爬取数据。运用scrapy框架爬取中大网校数据。运用js逆向破解百度翻译,有道词典。爬取艺恩数据库,运用代理ip进行模拟登录。运用逆向破解网易云音乐等
通过js逆向破解网易云音乐网页代码,拿到歌曲id进行请求发送,从而拿到歌曲对应的url进行下载播放。
通过scrapy框架爬取中大网校数据,层层剥开,爬取到所有的目录,同时还可以爬取其中所有题目,答案,解析进行下载