猿急送>

成都后端兼职程序员

ID：197177

少年凉

爬虫工程师，开发工程师

公司信息：
西安华讯科技有限公司

工作经验：
4年

兼职日薪：
500元/8小时

兼职时间：
可工作日驻场（自由职业原因）

所在区域：
成都
武侯

技术能力

良好的python基础：了解python多线程、多进程。
熟练使用scrapy，requests，selenium等python库爬取网络数据；熟悉常见的反爬策略及其规避措施，包括IP限制、JS加密、验证码等。
熟悉HTTP及HTTPS，了解一个请求的流程，熟悉TCP/IP协议。
熟悉网络编程，曾利用socket实现类似于flask的Web framework和豆瓣爬虫。
熟练掌握在 Linux、Windows 平台上的 python 编程 , 熟悉常用的Linux 命令
熟练使用面向对象编程 , 掌握python中多任务、闭包、装饰器、元类的应用
熟练使用HTML、CSS、Javascript、jQuery、JSON、Bootstap等前端Web技术进行网站的开发
熟练使用 Requests、Scrapy 框架、 js2py模块，Scrapy-Redis 实现分布式、增量式爬虫程序
熟练掌握Python Flask Web开发框架，熟悉flask源码，可以基于flask结合需求搭建更加契合的框架。
熟悉django/tornado框架
熟练使用 MySQL、Mongodb、Redis 数据库及SQL语句
熟练掌握微信小程序的开发流程，熟悉微信支付各种API
熟悉分布式数据库PXC模式的设计方式

项目经验

2016.8-2017.6 西安华讯科技有限公司.
生活点餐系统
项目描述：为了让顾客体验餐品的美味，向顾客以动画的形式展示每道菜的制作过程 , 让顾客在移动端点餐下单，后端根据反馈的数据第一时间制作菜品，减少顾客的等待时间。实现菜品展示，下单，支付，评价等功能
技术描述：
使用 Blueprint 进行模块化开发，降低不同功能模块间的耦合性
集成 Flask-wtf 扩展，使用钩子函数防止 CSRF 攻击
使用 Flask-migrate，完成数据库的版本控制和数据库的迁移
集成 Flask-sqlalchemy 扩展，建立数据模型类，进行数据库相关操作
集成 Flask-redis 将 session 保存在 Redis 数据库中，保证数据安全
使用装饰器实现登陆用户的权限验证、日志记录等操作

2017.10 – 2018.6 西安华讯科技有限公司.
★google人名搜索爬虫
该项目是搜索某一人名，统计搜索到的条数，并进行排序保存为CSV文件。
使用selenium无头浏览器模拟浏览器操作，破解google搜索结果动态加载问题
使用PyQuery进行页面解析，提取需要的数据
设置UA池，防止反爬封锁IP
使用numpy将搜索的结果存入csv文件中保存。

2018.9 – 2019.4 西安华讯科技有限公司.
★好读书爬虫项目
该项目主要是抓取读书网、当当网、豆瓣网、起点中文网等大型网站的书源信息，通过获取图书的标题、价格、图片URL以及相关参数，将采集数据做相应的数据清洗，存入数据库，根据数据需求封装对应接口，将对应数据渲染到前台页面为用户提供搜索查询、展示，以及书籍比价及推荐等功能：
主要负责网站页面数据的抽取、解析、存储
针对对应网站的反爬虫策略进行爬虫方案的优化
运用Scrapy爬虫框架进行爬虫开发使用Scrapy-Redis组件，搭建分布式爬虫框架，提高爬取速度
利用xpath进行页面解析
使用ip代理池，获取大量代理ip，防止计数ip的反爬措施，提高爬虫的健壮性

2019.10 – 2020.2 成都薪火相传科技教育科技有限公司
★微控校园微信小程序项目
该项目主要是抓取各个学校教务处信息，为学生提供便利的查成绩，查课表功能，实现了爬虫一键评课功能，学生还可以便捷的进行绩点计算：
使用flask框架进行微信小程序后端系统的搭建；
使用flask-sqlalchemy进行数据库的设计及数据操作;
使用flask-cors解决跨域问题；
小程序后台系统可上传图片，使用七牛云作为远程存储；
首页图片使用redis缓存，提升用户使用体验；
服务器部署采用nginx+uwsgi+supervisor方式;
搭建User-Agent池，防止反爬封锁IP;
使用代理IP，突破IP封锁限制;
利用云打码程序，部署在服务器上进行验证码识别;
分析教务处网站JS代码，破解RSA对称加密实现模拟登陆。