猿急送>

深圳Python兼职程序员

ID：167443

言

Python研发工程师

公司信息：
安信东科电子有限公司

工作经验：
2年

兼职日薪：
500元/8小时

兼职时间：
可工作日远程

所在区域：
深圳
福田

技术能力

熟练掌握 Python 语言以及其高级特性，熟练使用 Python 标准库和其流行的第三方库。
熟悉多线程爬虫及其机制，了解 HTTP/HTTPS 、TCP/IP、UDP 等网络协议。
熟悉 Redis、Mongodb、MySQL 等数据库
熟练使用 requests 网络模块、了解 urllib
熟练掌握 Scrapy 框架，Scrapy_redis 分布式组件，熟悉 Scrapy 工作原理，了解组件的工作机制.
熟练使用 xpath、bs4、正则、Json 等模块进行数据的抽取
了解 Linux 系统，熟练使用 Linux 命令熟悉 shell 脚本
了解 Docker 容器技术
熟练掌握 Django 框架，了解 uWSG 协议

项目经验

项目介绍:携程爬虫
开发环境:Linux、requests。Selenium、mongdb、正则表达式、xpath
项目简介:对携程网的特价机票和特价酒店信息进行抓取,提供最新的特价酒店信息和特价机票信息,供公司其他业务
使用。责任描述:特价机票的爬取基于 requests 模块进行爬取,特价机票的信息采用的是 ajax 请求且请求方式为 post,请求
参数为 request payload,解决办法:设定 content-type 类型 application/json,将请求参数用接送模块转换成 json 数据,
发送请求获取数据,使用 crontab 在每天 0 点进行抓取,将抓取到的信息使用 xpath 进行解析,清空 mongodb 数据库
里的原特价机票数据,并将解析到的数据存入 mongodb 数据库。
特价酒店的爬取基与 requests 和 selenium 实现,特价酒店通过执行 js 获取下一页数据,解决办法:使用 selenium
来获取数据和解析数据,实现增量式爬虫,使用 crontab,在每天 0 点进行抓取,把数据库里的原特价酒店数据清空,
将得到的数据存入 mongodb 数据库。
项目介绍:安居客爬虫
开发环境:Linux、scrapy、scrapy_redis、mongodb、xpath、selenium、PIL
项目简介:爬取安居客网上的租房信息
责任描述:基于 scrapy 框架,使用 scrapy_redis 实现分布式爬取,当爬取数据量达到一定的程度时,会出现滑动验证码,
解决办法,人工进行验证后截图保存完整图片,在验证过程中,使用 selenium 进行截图,截取验证码图片,通过比较左
上角顶点,左下角顶点,右上角顶点,右下角顶点四个位置的像素值来匹配完整的背景图,比较验证码图片和完整图片
的像素,找到缺口位置,使用 selenium 模拟滑动实现验证,使用 crontab 在每天 0 点进行抓取,通过 xpath 进行数据
解析,并将数据过滤后,存入 mongodb 数据库中。