网易不同模块新闻爬取

新闻媒体-其他 Cyz

该项目中使用了scrapy框架+selenium对网易新闻不同板块发起请求,抓取动态数据,经过解析后在scrapy管道中写入mysql进行数据持久化...

网易不同模块新闻爬取
网易不同模块新闻爬取
网易不同模块新闻爬取

中国空气质量数据爬取

新闻媒体-其他 Cyz

该项目中,网站使用了js混淆和js加密,并且网站携带的ajax请求参数也是动态加密的,因此,我先定位到了ajax请求参数的加密方法,将其粘贴到了Code.js文件中,发现网站ajax请求返回的数据也是加密的,因此在定位到了返回数据的解密方法,最后使用pyexecjs模拟js代码,模拟网站发起ajax请求的过程,对参数进行加密,对返回数据进行解密...

中国空气质量数据爬取
中国空气质量数据爬取
------ 加载完毕 ------
联系需求方端客服