ID：274903
叮🔔～Boom！
Python 爬虫工程师
- 公司信息：
- 消费者报道有限公司
- 工作经验：
- 1年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 广州
- 海珠
技术能力
1. 熟练掌握 Python，对大批量数据处理有比较丰富的经验，主要负责各类项目来源数据的采集，对增量式爬虫和分布式爬虫比较熟悉，曾独立开发并部署过多个增量式和分布式爬虫项目;
2. 熟悉 LInux，几乎所有的测试部署工作都在 Linux 端进行;
3. 掌握 MySQL、MongoDB、Redis 等常见数据库的增删改查操作，对 Redis 分布式和 Redis 防缓存穿透有一定的了解;
4. 了解 Javascript 和 Echarts;
5. 了解 R 语言，曾对大批量的基因测序数据使用 R 进行数据分析
项目经验
1. 开发广东省行政处罚信息采集爬虫，该爬虫为增量式爬虫，使用 Python 开发，可自动爬取所有历史信息，并随网站更新可同步更新数据;项目部署后期将原来通过查库实现数据去重的方式改为布隆过滤器去重，使得项目运行效率提升近 70%，项目运行时间从原来的将近 6 个小时缩短至 2 个小时;
2. 重构广东省各地级市每日新闻采集项目，使用 scrapy-redis 框架将该项目改成分布式运行，并重写 scrapy-redis 的 RFPDupfilter.
相似人才推荐
-
500元/天python工程师汝州市七点概要：python 、办公自动化 、 爬虫 js逆向、 分析、 移动端信息采集、 selenium
-
900元/天高级PHP开发工程师/Python开发工程师霖珑云科概要：熟练掌握PHP、Python后端语言开发技能 熟悉MySQL数据库，拥有优秀的数据库设计能力
-
500元/天Python开发工程师远江盛邦概要：1、前端和后端数据交互，前端运用gulp技术来自动刷新浏览器，压缩文件，监听代码修改，Js技术实现轮
-
500元/天python开发富力地产概要：掌握python在数据处理、桌面程序、网页端开发等应用场景的使用，精于数据报表开发及相关流程自动化。
-
900元/天python开发工程师佰钧成概要：编程语言 python,java,c++。 后端开发 django,flask,sprinp boo
-
500元/天Python高级爬虫工程师TCL概要：1.精于网络爬虫，目前有维护爬取全国房价的项目，爬取大宗商品价格等等。涉及网站诸如政府网站，阿里系网
-
500元/天php, python开发工程师贵州明策大数据概要：熟练掌握php程序开发，python程序开发， linux系统操作， 熟悉前端html+css+
-
500元/天python开发工程师无概要：1、python自动化办公（例如：利用pandas处理表格，利用Selenium 做浏览器操作，py
