精通python爬虫程序编写,网页数据采集能力,深度数据挖掘,数据清洗,能进行大量数据的采集和清洗。
擅长js逆向,各种深层数据也能采集
擅长反反爬
在几个项目中负责视频的解析功能,其中涉及js逆向,常见的反反爬,大量数据清洗
在项目之间的时间也会进行数据采集,一般进行千万级的数据采集工作
该项目由我一个人完成,用户需求为采集指定的抖音账号下的所有视频,我通过爬虫解析,破解did参数之后获取到每个主页中包含的所有视频,并对每个视频进行解析下载,最终获取到无水印的抖音视频
该项目由我一人完成,主要负责采集某些网站的文章然后搬运,单张表内保存的为一个网站的数据,采集完成之后还要进行清洗,文章内容及标题中不能出现可能侵权的字眼等等