技术能力

熟练运用Django框架、Django的缓存、中间件等机制和源码研读。
熟练掌握XPath、CSS、正则表达式等解析页面规则。
熟练使用爬虫常用的模块和库，requests、urllib3等。
熟悉Scrapy爬虫框架的使用和源码研读，了解Scrapy分布式爬虫部署。
熟悉MySQL索引,sql优化,分库分表
熟悉Python面向对象编程，熟悉Socket网络编程。
熟悉Python的多线程、多进程以及协程。
熟悉hadoop生态圈相关组件，即hdfs、hive、的基本使用和相关原理
熟悉hbase、zookeeper的集群搭建相关原理
熟悉Redis的基本使用,基本数据类型,集群做缓存和session管理
熟悉Redis的两种持久化机制

项目经验

骑呗APP后台管理系统
项目描述：
针对共享单车后台管理系统，主要实现搜索周边车辆，完成车辆的租借操作，通过移动终端完成相关的功能（救援，客服）。以Django框架开发后台程序，为完成pc端后台管理系统页面。数据库采用MySQL，Redis。消费主体面向上班群体。
技术描述:
1.对于用户注册方面采用了短信注册和邮箱。
2.在项目中集成了Sentry来管理错误日志。
3.在相关地图搜索，位置确定，运用GeoDjango相关API。
4.对于访问频繁且更新较慢的数据我们使用了Redis进行了缓存处理。
5.对于有可能出现的爬虫，使用中间件限制了用户每秒信息刷新速度。
6.对于用户喜好的车辆种类进行不同的权重推荐。
主要负责开发模块：
1.设计用户短信、邮箱模块。
2.使用Sentry进行错误信息的反馈。
3.负责获取共享单车的数据信息。
4.负责把数据信息存入Redis服务器。

分布式爬虫爬取沈阳市企业信用信息网
项目描述：
该项目是通过scrapy-redis搭建分布式爬虫爬取用户招聘信息网的公布栏，爬取目标字段,并把爬取到的数据暂储至MySQL数据库中,后将Redis数据库中的数据存储到MySQL数据库中，并搭建后台系统进行查询。
主要负责开发模块：
1.深度优先查找方式查询招聘量。
2.Scrapy的爬虫模块和PiPeLines模块的设计。
3.对于网站的反爬，负责编写IP代理池。
4.通过编写python脚本将Redis数据库中数据读取出来加入MySQL数据库。
5.参与MySQL数据库的查询优化问题。
技术要点：
1.评论采用了Django与Ajax异步提交查询系统；
2.信息检索；
3.支持Redis缓存。

食天下点餐平台
开发环境：Python3 + Pycharm
开发技术：Django + MySQL + JavaScript + JQuery + Redis + Ajax + uwsgi + nginx
项目描述：
针对商城结算后端管理系统，主要完成页面展示，购物车模块，订单模块，支付模块，搜索模块等搭建一个完整的商城后端管理系统。
职责描述：
1.注册验证及登录验证(邮箱、手机)
2.结合第三方平台的API实现第三方平台登录
3.借助于第三方平台实现支付
4.搭建Redis服务器，使用redis进行缓存以及存储session
5.信息检索，采用MySQL数据库

众诚考勤打卡项目
开发环境：Python3 + Pycharm + MySQL + Redis
开发技术：Flask0.12.2 + SQLAlchemy1.1.14 + WTForms2.1 + Werkzeug + Jinja2 + Flask-Migrate + Flask-Script + numpy + pandas
项目描述：
为企业研发的考勤，排班，日常办公等开发的移动OA系统办公软件，该产品包含员工考勤、工作汇报、排班规则、申请审批、企业通讯录等特色功能
职责描述：
1.构建任务、部门管理、员工管理模块model
2.任务、部门管理、员工管理模块的逻辑实现
3.使用Redis服务器进行缓存

团队情况