猿急送>

深圳其它兼职程序员

ID：353613

微风

爬虫工程师

公司信息：
深圳网安

工作经验：
2年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
深圳
龙华

技术能力

python编程，爬虫以及爬虫框架（scrapy， feapder），js逆向（加解密，cookie，验证码），html，JavaScript，数据分析，数据清洗，mysql、mongdo、redis等数据库存储

项目经验

1、爬取企查查数据
项目描述：
为了能够提升出具app和漏洞报告的效率以及将企业名称，注册资金等信息快速填写至报告，以及能够快速查找企业各项开发app
和小程序名称方便后续有效的查找
工作内容：
1.该项目主要是获取企查查企业信息以及app和小程序信息。
2.该项目使用了js逆向对网站JavaScript中逆向找出Sha512加密方法
3.结合requests+加密数据对数据进行爬取
4.采用哈希算法+Redis进行数据去重，且通过pymysql对数据进行入库

2、爬取七麦数据
项目描述：为了能够快速查找app下载链接、下载量、app简介等信息，并将各地的app整理入库
工作内容：
1.该项目主要是获取七麦数据网站各地的App信息，下载链接。
2.该项目使用了js逆向对网站JavaScript中逆向找出MD5加密方法
3.结合requests+加密数据对数据进行爬取
4.使用numpy+panda+Redis+哈希算法进行数据去重和数据清洗
5.使用pymysql对数据存储到mysql数据库中以便查找、调用

3、爬取360手机助手网站
项目描述：为了能够快速下载app，并进行检测
工作内容：
1.该项目主要是通过360手机助手网站下载app，并把app保存到本地文件中，以便后续的检测
2.接入IP代理，以防止ip封禁等后果
3.该项目使用了requests+lxml+threading对网站进行爬取
4.采用多线程和queue队列提升爬取效率以及准确性
5.使用os方法对爬取的app保存到的本地文件中

案例展示

企查查

项目描述：为了能够提升出具app和漏洞报告的效率以及将企业名称，注册资金等信息快速填写至报告，以及能够快速查找企业各项开发app 和小程序名称方便后续有效的查找工作内容： 1.该项目主要是获取企查查企业信息以及app和小程序信息。 2.该项目使用了js逆向对网站Ja
七麦数据

项目描述：为了能够快速查找app下载链接、下载量、app简介等信息，并将各地的app整理入库工作内容： 1.该项目主要是获取七麦数据网站各地的App信息，下载链接。 2.该项目使用了js逆向对网站JavaScript中逆向找出MD5加密方法 3.结合requests+
360手机助手网站

项目描述：为了能够快速下载app，并进行检测工作内容： 1.该项目主要是通过360手机助手网站下载app，并把app保存到本地文件中，以便后续的检测 2.接入IP代理，以防止ip封禁等后果 3.该项目使用了requests+lxml+threading对网站进行爬取