经验两年
基于python的开发
熟悉scrapy,celery,flask,mysql,mongodb,redis
了解js,php
熟悉常用数据的开发及优化
熟悉爬虫,数据处理
熟悉反爬的js混淆,验证码,数据加密等
多线程,多进程,异步,分布式
品牌库项目搭建
整合多个网站数据源,抓取,清洗,持续化更新
app广告数据爬虫系统升级及优化
改造旧项目,升级高并发,优化处理性能
二类电商爬虫搭建及优化
抓取二类电商数据,处理反爬,优化速度,每小时监控商品,店铺的信息