ID：158161
F
爬虫工程师
- 公司信息：
- 深圳微品致远信息科技有限公司
- 工作经验：
- 2年
- 兼职日薪：
- 600元/8小时
- 兼职时间：
- 可工作日驻场（离职原因）
- 所在区域：
- 上海
- 浦东
技术能力
1、熟练掌握 requests，scrapy，scrapy-redis模块发送请求，获取响应后处理网页数据，熟练构建分布式爬虫，Linux下的定时启动爬虫
2、熟悉C++,Python
3、熟练使用正则表达式、xpath、Selenium、PhantomJS提取网页元素 ，利用Charles, Appium对app的爬取
4、熟练使用requests和scrapy、selenium的模拟登录
5、能熟练使用打码平台处理常见验证码
6、会Django开发web后台
7、熟练使用mysql、redis、MongoDB的增删改查
8、会使用QT
项目经验
项目概况： 爬取京东、当当、苏宁图书所有分类下的 遇到问题及解决方案如下： 1、爬取量较大，用scrapy-redis爬取，因为该框架实现url和数据去重、持久化、构建RedisSpider分布式爬虫，爬取更快 2、需要携带cookie访问网页内容，采用ip代理 3、处理反爬策略，url地址需要删除一些字段可以获取json数据 4、使用logging模块编写监控程序进行爬虫监控，并根据日期定向输出日志到log文件
编写爬虫程序，想出反反爬策略，数据清洗，分表存储，维护代理ip池，负责带新人
相似人才推荐
-
500元/天大数据开发工程师保密概要：编程语言：shell、java、scala、python。 有ansible自动化部署开发经验
-
1000元/天开发经理深圳市瑞福登信息技术服务有限公司概要：熟练JavaEE、MySQL、MyBatis、spring、springmvc、springboot
-
500元/天中级后端开发工程师中软国际概要：1.熟悉Spring、Spring MVC、hirbnate，redis等 2、熟悉java编程技
-
500元/天架构师上海非码网络科技有限公司概要：精通JAVA，包括但不限于集合框架，IO/NIO,并发框架。 精通JVM调优。 熟练掌握各种JA
-
500元/天大数据后台开发工程师上汽集团概要：Java、SQL、Linux为基础技能，熟练掌握常用关系型数据库的使用，熟练使用Spring等Web
-
500元/天大数据开发北京尚学堂概要：大数据经验，对大数据的生态圈较熟悉。如：hdfs的存储架构，并能熟练使用MR、Spark、Spark
-
800元/天研发工程师美菜网概要：1、java、python语言熟练； 2、熟练使用spring、mybatis、springboo
-
500元/天研发工程师太重集团榆次液压工业有限公司概要：熟练掌握后台thinkphp，.net高级编程，app混合开发，数据库编程，熟练掌握前端bootst
