python的各种网络请求库,
各种爬虫框架,网络框架,网页解析,xml解析
程序架构,逻辑,
擅长使用python来做爬虫的系统采集
熟悉多进程,多线程的分布式程序开发
熟悉python的各类库应用
熟悉mysql, redis 等数据库的使用
熟悉linux的相关操作
对网页结构,各种语言有所涉猎
对手机应用反编译,自动化也有过一段时间的研究
各类抓包工具的使用
熟悉Git的使用
负责过很多公司的爬虫项目, 最高峰时期日抓取量可以达到20亿,大规模的抓取,分布式抓取,都有一些经验,淘宝京东电商类网站,直播类网站都研究过