案例展示

• 

  考古加数据

  通过抓包找到对应数据接口，发现数据被加密，通过js逆向找到解密函数所在js文件，该js文件被混淆，突破混淆找到相关解密函数，扣取该函数，使用请求库对接口访问，获取数据，调用扣取的函数进行解密，最后解析数据并保存

• 

  某政务服务网

  使用scrapy框架请求网页，利用xpath解析数据，获取想要的字段，并将数据保存至mongodb中

• 

  某网站音视频数据

  请求首页地址获取视频id，将id与资源地址结合，得到该视频的mpd文件，读取mpd文件中，使用正则获取其中的高分辨率的视频和音频地址，利用协程异步请求视频，最后通过系统指令合并切片文件得到完整音视频

• 

  批量pdf文件下载

  翻页提取网站首页动态加载数据，获取文件id，文件地址为动态，通过分析得知其动态参数的产生，结合参数获取数据的二进制信息，保存为pdf文件