自学python,自学爬虫,痴迷于编程,但是也不能仅仅局限于自己,兼职接单,主要是想锻炼技术的同时方便别人,每一次机会我都会认真对待,我爬过很多网站,能爬取ajax动态加载的数据,会fiddle进行app数据抓取,能突破反爬机制的重重阻碍,拿到数据。只要能进行有效的沟通,客户将需求表述清楚,我就可以给你返回一份满意的数据。
淘宝商品数据的抓取,通过进程池进行高质量的数据下载
抖音视频的抓取,运用fiddler,找到抖音的api,进行数据获取
某公司详细的信息的抓取
这是一个在知网中获取地震相关数据的数据获取程序,技术难点在于突破知网的风控。每请求一次会产生一个新的字段,改字段是需要作为下一次发送请求获取数据的参数。我用了一天时间完成了该项目的制作,其中包括数据获取部分,数据清洗部分,数据解析部分,数据可视化部分。
这是一个搞数字艺术品NFT的客户的需求,需要全站爬取该网站的nft商品信息。其中涉及到的难点是该网站的反爬手段:验证码,cookie等风控技术,花费工时一早上完成该网站爬取。