本科学历,精通Python,一年的爬虫经验,熟悉常见的数据库,如Mysql、Mangodb、redis。熟练使用Scrapy爬虫框架、Selenium自动化技术。熟练掌握正则表达式、Xpath等信息提取技术。具有Js逆向能力,能对网站的加密参数进行破解,会使用RPC调用。能够独立解决封账号、封IP、验证码、滑块、字体反爬虫等。
爬取过的网站有:Boss直聘(利用RPC调用直接过了网站的加密参数并进行了数据抓取)、淘宝京东(利用selenium模拟网站登录然后保持登录并进行了数据抓取)、红人点集(Js逆向破解了此网站登录并保持登录对数据进行了抓取)等。
这是我写的爬取红人点集的爬虫,通过js逆向破解了红人点集的登录,然后携带参数保持登录,对想爬取的数据进行爬取
这是我写的爬取艺恩网站数据的爬虫,此网站对数据进行了对称加密,我通过扣代码补环境的放法进行了破解加密,将数据成功解密,抓取到了想要的数据