ID：298550
a
爬虫工程师
- 公司信息：
- 图灵电子科技
- 工作经验：
- 5年
- 兼职日薪：
- 800元/8小时
- 兼职时间：
- 可工作日驻场（自由职业原因）
- 所在区域：
- 北京
- 海淀
技术能力
爬虫方面：
掌握逆向分析（JS逆向破解）技能
熟悉反反爬原理、各网页抓包技能
熟悉scrapy、aiohttp、mysql、mongo，selenium的开发和使用
能使用set，Md5，哈希算法等对数据进行去重
熟悉加速乐、极验等产品逆向与处理
能自行搭建部署gerapy和scrapyd进行爬虫监控
三年Python开发经验
web方面：
熟悉Django、Flask等框架开发、能熟练使用flask开放接口，简单的后端开发
了解HTML、CSS、JS、jquery等前端页面制作
项目经验
电商领域
项目名称：电商数据采集
项目描述：采集1688，亚马逊等电 商平台的数据
项目流程：
1.根据关键字搜索到所需要的数据
1.破解各种反爬措施
2.分布式采集数据
3.将数据清洗入库mongodb
案例展示
-
某法拍房数据爬取
该项目分为主程序模块、执行模块、解析模块、参数获取模块、存储模块。 其中主程序模块为入口文件 执行模块为功能执行 解析模块为数据解析、筛选 参数获取模块为分析加密参数并进行逆向 存储模块为保存提取到的数据
-
某验证码突破
分析该网站规律 发现某参数由后端返回，并进行一系列测试，这里就不一一赘述了。主要加密参数w 该项目分为获取后端返回参数 发送请求，开始滑块 获取图片数据，进行底图还原 检测滑动距离 传递参数 发送请求， 大功告成
-
某政务数据提取
该网站主要使用（某乐）技术进行cookie反爬虫 经过两次重定向方才返回数据 处理返回的js生成 携带生成后的cookie进行访问 即可获得数据
相似人才推荐
-
500元/天开发工程师、算法工程师None概要：深度学习、机器学习、python、java等 深度学习、机器学习、python、java等 深度
-
500元/天研究助理上海交通大学概要：熟练掌握Java/Python/C#等多门编程语言 熟悉关系型数据库和非关系型数据库，例如MySQ
-
1000元/天Linux开发工程师牙木科技股份有限公司概要：C/C++，网络协议，TCP/IP协议栈，国密，客户端，服务端，python，shell，可靠UDP -
800元/天光谱算法工程师中科谱光概要：1、熟悉机载多光谱、高光谱、近红外等相机成像原理，具有丰富的机载光谱设备处理经验； 2、熟悉高光谱
-
500元/天研发工程师某上市建筑行业软件开发公司概要：Python，SQL，DELPHI，有六年的DELPHI桌面软件开发经验及SQL Server使用经
-
600元/天项目经理京东科技概要：精通Java、Jquery、AngularJs、Vue、EasyUI、Element-UI、Css、
-
500元/天高级软件开发工程师江西闪码科技有限公司概要：3年半项目开发经验，且有一年项目管理经验，具备需求分析以及设计能力。 熟练掌握C#相关框架及技术，
-
1500元/天架构师，项目经理，高级开发南方单位概要：曾经担任过架构师，高级开发，项目经理。有团队 侧重于后端开发，掌握语言python ,java，C
