1、熟悉Python、Shell等脚本语言,有3年以上Python开发经验
2、熟悉Linux操作、正则表达式,MySQL、MongoDB、Redis等常用数据库,了解各种Web前端技术
3、熟悉代理池的使用,熟悉分布式爬虫,爬取任务的监控和管理,熟悉常用的反爬应对方法
4、熟练使用正则表达式,精通网页数据提取
5、熟悉网络数据抓取的工作原理与工作流程
使用python爬取Google play商店APP信息,共计20W+条信息。
爬取知乎用户信息以及人际拓扑关系,爬取京东在售手机信息。