ID：174975
岳八岁
高级python研发工程师
- 公司信息：
- 美团
- 工作经验：
- 4年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 其他
- 全区
技术能力
前端技术：Vue.js、JQuery.js、Bootstrap、Element UI
后端技术：Django、Tornato、Flask
爬 虫：Requests、Scrapy、Scrapy-Redis 、pyppeteer
数 据 库：MySQL、MongoDB、Redis、Memcache
工 具：Git、Docker、SuperVisor、zabbix、celeyr、Siege
网 络：TCP/IP、HTTP、Websocket
项目部署：Nginx、Uwsgi 、Saltstack
机器学习：Numpy、Pandas、Matplotlib、SkLearn
项目经验
分布式爬虫爬取视频
框架搭建：MVP+ Retrofit+RxJava
详情：由于前期视频资源非常少，所以从各大商城爬取视频图片，以及数据，用来在灰度环境测试以及
责任描述：负责设计和开发基于 Scrapy 的分布式视频抓取系统 优化爬虫策略和防屏蔽规则。
利用 Redis 维护 ip 代理池，提升视频抓取的效率和质量。
主要技术：
⚫ 使用 Jenkins 自动化部署服务，提高系统可用性
⚫ 使用 Go lang 对抓取框架进行重构，提高了 200%的爬虫效率
⚫ 利用 Docker 对项目进行重新拆分和架构，减少项目模块之间的资源耦合度，实现 了持续集成
⚫ 使用 MarkDown 编写公司技术文档以及维护，定期维护团队的代码，与团队成员 共同进步
⚫ 使用 Selenium 针对反爬虫进行反复测试和改进抓取方案
相似人才推荐
-
500元/天高级python工程师马蜂窝概要：三年 Python 后端开发经验，掌握 Scrapy 、Scrapy_radis 爬虫框架，掌握 D
-
500元/天高级Java/Python开发工程师华生概要：1.计算机专业背景，8年Java web开发经验，本科学历； 2.熟悉java web常用开源框架
-
600元/天python苏州金唯智生物科技有限公司概要：本人目前主要运用的语言为python编程，主要从事机器学习，深度学习以及计算机视觉方向，进行模型构建
-
500元/天python工程师，爬虫工程师保密概要：数据库mysql，memcache 熟悉web框架django,flask 熟悉http，tcp -
600元/天高级python开发工程师知乎概要：一、web技能 1. python基本功扎实 2. 练使用flask框架,jinja2模板语言，
-
600元/天高级python工程师苏宁概要：精通python爬虫爬取各类网页，python数据解析整理，财务自动化，网页端和客户端自动化开发，多
-
500元/天php python 开发深圳星火链有限公司概要：熟悉php 和python 熟悉 tp,laravel ,flask,django框架 ,曾经发p
-
500元/天php/java/python维太格概要：本科计算机相关专业，熟练使用php，java，mysql,js,Jq,html,css能独立完成前后
