ID：203754
Sitoi
爬虫工程师
- 公司信息：
- 中云数据
- 工作经验：
- 3年
- 兼职日薪：
- 1000元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 可工作日远程
- 所在区域：
- 上海
- 闵行
技术能力
- 熟练基于 Scrapy 框架进行分布式爬虫（Redis），利用 Xpath，BeautifulSoup，Re 进行数据清洗，并解决登录，Javascript混淆，等各种反爬措施。
- 熟悉 Docker 微服务架构，对于工业大数据平台有一年半的开发经验。
项目经验
● 主持数据源组的日常管理，工作细化划分，布置每日任务
● 负责构思并实现 爬虫 -> 数据集 的自动化流程的需求分析，可行性分析及开发
● 负责构建 ip 代理池、cookies 池，及其维护
● 负责数据的清洗、解析、爬取的去重以及进行数据挖掘与研究。通过 pandas 实现新闻类数据的自动清洗
● 组内工作流程完善优化
相似人才推荐
-
500元/天项目经理广东立信集团概要：工作14年，一直从事JAVA领域相关工作，从JAVA开发一直做到目前的项目经理产品经理，从未离开过。
-
500元/天总经理姑苏区神码科技工作室概要：UI设计、HTML5、Android、iOS、App、微信小程序、公众号、web前端、JavaScr
-
600元/天研发工程师某公司概要：CAD,CAE,CAD,CAE,CAD,CAE,CAD,CAE,CAD,CAE,CAD,CAE,CA
-
500元/天量子计算 量子人工智能方向在校研究生概要：在读研究生，擅长c 语言c++语言，数据结构，操作系统，离散数学，组成原理，数据库，软件开发应用方面
-
500元/天软件工程师风云实业概要：能熟练使用C编程语言，以及常用的数据结构和基本算法； 能数量使用python编程语言及常用语法，能
-
800元/天算法工程师美的集团中央研究院人工智能研究所概要：本人2017年于武汉大学电子与通信工程专业硕士毕业，主要从事人工智能算法的研究。毕业后先后在美的集团 -
2000元/天高级算法工程师海康威视概要：图像或视频算法工程，深度学习，分类，检测，分割技术，tensorflow，torch，python，
-
500元/天自由职业无概要：多年linux用户，熟悉linux系统和软件操作 熟练掌握shell,python,c/c++等语
