个人在近两年自学了一定的Python知识,主要是在Python爬虫方面付出了一定的努力。熟练使用request,selenium,JS逆向等爬虫所需的基础知识。
最近也在学习APP的爬取。主要秘钥破解和脱壳。以及pc端的私钥破解
本人在学习爬虫过程中也进行了一定的自我训练,确实承认不能算是很好的爬虫工程师,因此本人暂时只能接一些简单的工作进行自我训练以便提高技巧。
本人工资要求较低,周六日,休息日兼职接。现阶段主要是接不急需的简单或者稍复杂的爬虫任务。
数据库的基本使用例如MySql,MongoDB。Redis等主流存储的数据库
1.使用selenium对淘宝网站进行爬取,但最新的淘宝反selenium的方式去除机器特征自己还无法破解。
2.针对某使用字体加密手段的网站,本人进行了爬取。
3.针对某使用JS加密手段的漫画网站,逆向解密js,然后抓取数据,本人也对该网站进行了爬取。
4。小程序的开发,页面设计。交互以及后台的api封装。
1.分析该网站地址,为ajax加载,post参数加密。 2.查看js文件找到post参数的加密方法。 3.使用scrapy编写代码,并且使用request异步进行下载。 4.根据用户要求进行精准数据的抓取,之后将开始循环下载,直到该信息的所有内容下载完毕。存储为CSV格式
1 找到目标网址 分析数据来源 2 使用request 加re 请求数据在精确解析 3 将下载下来的的数据保存下来 4 利用flask进行可视化展示