ID：144832
Alive
爬虫开发工程师
- 公司信息：
- 上海澜思信息科技有限公司
- 工作经验：
- 6年
- 兼职日薪：
- 600元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 可工作日远程
- 所在区域：
- 上海
- 静安
技术能力
1、根据需求分析所要爬取的数据，并分析目标网站的结构和反爬机制。
2、通过requests、scrapy、selenium、splash、xpath、css等技术编写爬虫进行数据抓取，app以Charles、mitmdump、Appium抓取。
3、对爬取到的数据进行清洗，分表存储，主要以MySQL、MongoDB数据库为主。
4、编写IP代理池，定时检测IP可用性，剔除低质量代理IP，IP以Redis存储。
5、监测爬虫的稳定性及数据的准确性，优化爬虫程序。
6、使用Django编写接口等。
项目经验
爬取房地产交易中心新房数据：
项目描述：
项目用以爬取新房信息，数据量在400万左右，每天需要爬取4轮以上，以保证数据的实时性，总爬取量每天约2000万条。
1、采用页面渲染来抓取数据，目前使用scrapy-splash, 相对于selenium阻塞式速度更快。
2、组建splash负载均衡，减小单个splash服务的压力。
3、提取付费代理，搭建IP代理池，数据库使用redis有序集合，以分数来判断IP是否可用，默认分数为50，满分100，使用aiohttp异步请求库定时检测代理IP，IP可用分数加1，不可用分数减4。
4、所爬取的数据存储到mongodb数据库，并以阿里云DataWorks将每日更新的数据同步到MySql数据库。
除此之外还有微信公众号、新浪微博、平安车险、京东app等爬取经验。
相似人才推荐
-
500元/天数据分析师科技谷（厦门）信息技术有限公司概要：1. 专业主修课程：统计学、多元统计分析、数学建模教程、计量经济学、数学分析 2. 熟悉特征提取、
-
800元/天图像处理工程师佳信捷电子概要：C++有3年使用经验，熟练使用VS、QT等开发工具 python 1年使用经验 熟练在linux -
500元/天软件开发工程师舜宇概要：2d平面的图像算法。有大视场86×86mm 0.01mm精度尺寸测量经验；有小视场10×10mm
-
500元/天软件开发工程师华为概要：开发语言：Java, C/C++, PHP； 数据库：Oracle，Mysql，Redis； 前
-
700元/天数据开发工程师阿里云概要：熟练掌握Java语言，熟悉多线程编程、网络编程。 熟练使用Ecilpse、MyEclips
-
500元/天算法工程师武汉精测电子集团概要：从事领域为图像处理，深度学习，机器视觉领域。 编程语言涉及C++，汇编，C#，python，mat
-
1000元/天开发工程师中软国际概要：1.掌握C#，能够使用WPF开发客户端，曾为HSBC（汇丰银行）开发自动化工具，为微软开发自动化测试
-
500元/天机器视觉算法工程师杭州乔戈里科技有限公司概要：机器视觉算法软件工程师，毕业于山东大学，计算机科学与技术专业 平时的工作： 1 从事机器学习系统
