本身熟练掌握爬虫,selenium,多线程爬虫,数据保存MySQL,MangoDB,Excel,文件夹。JS逆向。可以根据要求对网页数据进行爬取,并且保存到本地,自主完成过抖音视频爬取,酷狗音乐歌单爬取,京东商品列表爬取,喜马拉雅有声书爬取。
抖音视频视频爬取,酷狗音乐歌单爬取,京东页面商品信息爬取,喜马拉雅有声书爬取,贝壳房源房屋数据爬虫,知网爬虫,中国招标网爬虫,笔趣阁小说爬虫。
通过分析了解在抖音用户自己的视频页面里的视频结构,并得到每一个视频的详情页的网址。在详情页的网址中找到视频的下载链接,通过请求视频的下载链接,可以获取视频。
通过分析,获取酷狗音乐需要逆向出参数,携带参数访问网址,才可以等到正确的歌曲网址。在歌曲详细呀,经分析也,需要携带指定参数才可以获取歌曲链接。