可提供python爬虫服务,熟悉爬虫相关技术,网页解析,对HTML、JS、AJAX等相关语言和技术有基本概念,熟悉文本抽取分析工具,如:selenium、xpath、re、requests;
会使用scrapy框架,有一定的js逆向经验;以及MongoDB、MySQL、Readis数据库知识。
1、做过基于scrapy框架的知乎大V的人员关注数据爬取,并以此分析知乎的用户关系图谱;
2、ISBN搜索程序:先通过国家图书管的开放接口,抓取国图所有的ISBN信息和图书信息,再根据ISBN信息,从BOOK.DOUBAN.COM抓取对应的图片,并建立ISBN数据库,开放查询接口以供客户通过ISBN搜索图书。
......