1. 熟练使用Python语言,掌握Linux常用的命令
2. 熟练使用 MySQL,Mongodb,Redis数据库
3. 熟练使用正则表达式,Xpath,bs4等解析工具
4. 熟练破解js参数加密
5. 熟练使用scrapy,scrapy-redis分布式爬虫,并修改部分源码
6. 熟练使用多线程,多进程,协程等
7. 熟悉selenium&Chorme自动化测试工具,fiddler抓包工具
8. 熟悉前端页面html, css js等知识,熟悉http, https,tcp,udp等网络协议
9. 熟练使用numpy,pandas,对数据进行清洗
天眼查爬虫,利用python request抓取天眼查公司主要人员和对外投资关系,存入mysql
微博日千万爬虫,利用scrapy-redis实现每天一千万+微博数据抓取,存入mysql
大词林爬虫,破解文本混淆加密,抓取实体关系
医疗百科爬虫,
巨潮资讯爬虫
新浪网易财经爬虫,
裁判文书网爬虫,破解加密参数,抓取数据