精通动态页面网络爬虫,有OTA网站爬虫经验,对网站反爬虫机制有比较深入的研究,能够构建爬虫框架进行高并发数据抓取。
抓取过的网站类型列表:
知乎、豆瓣、今日头条、36Kr等专业媒体
携程、艺龙、去哪儿、飞猪等OTA网站
BOSS直聘、拉勾、中华英才网等简历网站
Linkedin、Instagram、微博等社交网站
etc。。。
精通动态页面网络爬虫,有OTA网站爬虫经验,对网站反爬虫机制有比较深入的研究,能够构建爬虫框架进行高并发数据抓取。
抓取过的网站类型列表:
知乎、豆瓣、今日头条、36Kr等专业媒体
携程、艺龙、去哪儿、飞猪等OTA网站
BOSS直聘、拉勾、中华英才网等简历网站
Linkedin、Instagram、微博等社交网站
etc。。。