● 马蜂窝在线视频爬取:
发起第一次请求,将响应体中设置cookie的js语句通过js2py运行后写入requests中的session;发起第二次请求,将响应体中的代码处理执行后再次将cookie写入requests中的session;发起第三次请求,用正则将响应体中的m3u8文件路径写入列表;将每个m3u8中的视频依次下载并依次命名;将每个m3u8的视频片段压缩为MP4文件。
● 水母影院在线视频爬取:
通过fiddler进行抓包,浏览器无法打开开发者工具;通过requests获取网页;通过re获取m3u8文件;通过threading开启多线程下载视频片段并依次存入对应文件夹;将文件夹压缩为MP4文件。