了解HTTP协议,web网页基础,知道代理原则,熟练运用urllib,requests,xpath,selenium等数据库,会使用test ,json,csv 数据储存以及Excel表格,ajax 数据爬取以及动态渲染页面的爬取 ,会模拟登入平台,会运用JavaScript逆向对一些页面进行爬取,以及控制台的调试debugger,混淆。
做过垃圾焚烧信息数据采集,以及网易云音乐js逆向,网络游戏选手等公开数据采集,这些数据的采集和体现,我的爬虫能力还是可以的
本次主要是对垃圾焚烧信息的爬取,对一些垃圾焚烧信息的一些抓包,分析包.json文件,实行批量的抓取。
一些网易上的一些新闻进行一些采集,主要是采集的一些网络地址,以及新闻的事件以及时间,并处理成excel文件