ID：298714
Sn晨曦
爬虫工程师
- 公司信息：
- 河南金达电子商务有限公司
- 工作经验：
- 2年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 其他
- 全区
技术能力
熟练使用 Python 的 Requests、Bs4、Selenium 等模块，爬取与工作相关的各类数据；
熟练运用 Python 的 Numpy、Pandas、Matplotlib、Pyecharts 模块完成工作项目中对数据的清洗、
分析、建模及可视化分析等各项功能；
项目经验
1、瓜子二手车有反爬，需携带cookie进行访问
2、requests底层没有封装url去重的方法，手动实现利用redis集合构造url去重（注：如果公司没有redis，可以利用python集合set，保存请求的url,再读取set中的内容写入本地文件，后面每次运行程序的时候，再将本地文件中的url读取到set集合中，可以实现简易的url去重）
3、选择md5加密，尽可能少的占用redis内存
4、请求中加延时，考虑网站能否打开和打开时间问题，一般需
要加异常判断、超时、retry等减少报错
5、增量式爬虫，将数据保存到数据库，对重复的字段对应的数据更新操作
6、构建USER-AGENT池，使用随机代理，随机IP采用阿布云动态IP
7、使用logging模块编写监控程序进行爬虫监控，并根据日期定向输出日志到log文件
相似人才推荐
-
600元/天fs工程师施耐德电气概要：语言：java/javascript/typescript/nodejs/python/sql
-
500元/天全栈开发工程师上海墨伽体育概要：1.熟悉php开发，有6年以上项目开发经验，熟悉商城系统，管理系统，企业官网，多语言系统，多种国内国
-
1100元/天高级后端开发工程师瓜子二手车概要：精通java、mysql、redis、kafka、Springboot、elasticsearch等
-
600元/天高级开发浩鲸云科技股份有限公司概要：精通java后端全技术栈 擅长对事物的抽象，以及自动化部署，轻量化开发等领域 前三年全栈，前后端
-
500元/天信息工程师国企概要：擅长Java后台开发，对微服务开发运维流程熟悉。熟练掌握Java技术栈和性能调优，了解JVM运行原理
-
500元/天高级工程师森阳科技概要：多年全栈开发经验，精通JAVA，JS，VUE，MYSQL，开发过多款政府项目，电商项目，游戏项目等。
-
600元/天软件工程师东软概要：精通java，对java基础，以及高并发编程都有了解，熟悉io，反射的java高级 精通mysql
-
500元/天高级大数据开发工程师中软国际概要：丰富的ETL工作经验，熟悉dataservices、datastage、hive，熟练的sql语句，
