猿急送>

北京Python兼职程序员

ID：157034

Benz

python高级开发工程师

公司信息：
内蒙古嘉讯网络科技有限责任公司

工作经验：
3年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
北京
海淀

技术能力

顾问角色:
python爬虫工程师，python后端工程师。

技术能力:
1.熟练使用Flask、Django、DjangoRESTframework等python后端框架。
2.熟练使用scrapy、scrapy-redis框架，熟练实现分布式爬虫，增量爬虫。
3.开发过程考虑后期维护便捷及代码调优。
4.熟悉Linux操作系统，可以在Linux环境下进行开发工作。
5.熟练使用Mysql，redis及数据库优化。
6.熟悉celery异步，了解RESTful API接口风格。
7.了解uwsgi\Nginx服务器部署，了解Docker虚拟化技术。

项目经验

项目一 Air校园综合性服务平台

项目描述 Air校园综合服务平台是一个大学生生活服务平台，主要面向高校师生群体，通过微信公众号运营，为用户提供生鲜配送、校园资讯、二手市场、查询成绩等服务，同时与快递公司合作，提供快递收发等服务；

开发架构开发模式：前后端不分离；
后端框架：Django+jinja2模板引擎；
主要技术：Django、MySQL、Redis、Celery、Nginx、uWSGI;

责任描述 1.实现外卖商品详情页面信息数据响应；
2.实现用户浏览记录存储；
3.实现外卖商品搜索功能；
4.实现购物车商品管理功能;
5.实现购物车详情信息数据响应；

开发思想 1.为提升页面响应效率，减少与数据库交互次数，外卖商品详情页面采用页面静态化技术；
2.用户浏览记录使用Redis中的list类型存储，并且使用ltrim限制浏览记录记录个数；
3.使用Haystack对接Elasticsearch生成索引，实现外卖商品搜索功能；
4.判断用户是否登录，登录状态下操作Redis，使用管道保证数据原子性，未登录的状态下
操作cookie；
5. 用户已登录的状态下查询Redis数据库获取数据，未登录状态下查询cookies获取数据
项目二分布式爬虫爬取知乎数据

项目描述将爬虫部署在服务器上，每天定时爬取，并将数据写入远程服务器数据库

开发架构
1.主要技术 scrapy-redis、redis

开发思想 1.js逆向解密formdata加密，并将js保存本地，使用js加密formdata数据并使用scrapy发送POST请求，将cookie保
存本地。
2.携带cookie访问爬取页面，在redis数据库中存入未爬取的url和爬取完的url指纹，从而实现增量爬虫和分布式爬虫
3.将每台服务器爬取的数据写入MySQL数据库中。