1.有着丰富的爬虫知识,对国内外的大型主流网站均有采集经验,
2.对与爬虫架构有深入的钻研,并有自己的一套爬虫框架,
3.对于采集工作可以独立完成从爬虫到采集后台整个功能的开发,实现一个完善的爬虫系统。
1.微博采集管理平台的开发:实现了对微博3亿用户的数据采集,覆盖了微博所有的活跃用户,通过分级轮训是的重点用户的采集时间在5分钟左右。
2.微信公众号采集平台的开发,对于福建地区20万公众号进行监控,实时采集公众号的文章及阅读数评论数。
3.对于旅游,房产,招投标,电商,自媒体,贴吧等大部分主流网站都有采集经验。